准备数据源和计算源
准备数据源 Dataphin支持对接的数据源包括大数据存储型数据源、文件数据源、消息队列数据源、关系型数据源和NoSQL数据源，各模块支持对接的数据源类型及操作指导，请参见 Dataphin支持的数据源。重要 确定业务数据源类型后，在Dataphin创建...
数据开发概述
功能介绍 规范建模：基于已明确的业务需求，从业务顶层开始设计，规范定义数据的标准及计算口径完成数据模型的设计。同时您提供可视化、标准化、规范化和自动化定义数据，而非传统手动写SQL代码的方式，这样就避免了统计指标计算口径不一致...
准备数据源和计算源
准备数据源 Dataphin支持对接的数据源包括大数据存储型数据源、文件数据源、消息队列数据源、关系型数据源和NoSQL数据源，各模块支持对接的数据源类型及操作指导，请参见 Dataphin支持的数据源。重要 确定业务数据源类型后，在Dataphin创建...
数据集成支持的数据源
不同集成类型适用场景 集成类型 适用场景 离线集成 适用于数据上云、云上数据迁移到本地业务系统等场景。例如，将本地数据库MySQL的数据迁移至阿里云数据库RDS中。整库迁移 适用于将本地数据中心或在ECS上自建的数据库，同步数据至离线数仓...
概述
数据内容安全管理 安全中心提供的数据分级分类、敏感数据识别、数据访问审计、数据源可追溯等功能，在处理业务流程的过程中，能够快速及时识别存在安全隐患的数据，保障了数据内容的安全可靠，详情请参见 数据保护伞。安全诊断的最佳实践 ...
数据库导出
当您需要进行数据库备份、导出数据库表进行数据分析等操作，您可使用 数据管理DMS 的数据导出功能，该功能可通过提交工单的方式导出数据库。前提条件 数据库类型如下：MySQL系列：自建MySQL、RDS MySQL、PolarDB MySQL版、AnalyticDB ...
整体架构
云原生数据仓库AnalyticDB MySQL版 是阿里巴巴自主研发、经过超大规模以及核心业务验证的PB级实时数据仓库。概述 自2012年第一次在集团发布上线以来，AnalyticDB MySQL版 至今已累计迭代发布近百个版本，支撑起集团内的电商、广告、物流、...
互联网、电商行业离线大数据分析
概述 电商网站的销售数据通过大数据进行分析后，可以在大屏幕展示销售指标、客户指标、销售排名和订单地区分布等业务指标数据。DataV大屏支持可视化动态展示销售数据，触控大屏支持您自助查询数据，极大地提高数据的可读性。应用场景 电商...
什么是云原生内存数据库Tair
更丰富的数据结构 提供TairString，TairHash，TairGIS，TairCpc，TairBloom等多种扩展数据结构，极大降低用户的开发成本，更有利于业务创新。说明 更多信息，请参见 产品优势 和 应用场景。实例存储介质 随着互联网的高速发展，业务场景变...
概述
从应用视角看，全密态数据库可以解决不同应用场景下的数据安全问题，几种典型场景如下：平台安全运维：该场景主要针对在不可信环境（如第三方平台）下提供的数据库服务的安全防护，保证用户数据在运维过程中的安全。例如，业务将应用数据库...
离线数仓构建流程概述
步骤一：准备工作 规划数仓 数仓规划是数据建设中的蓝图，在您开始数据开发前，需要完成数据仓库的规划，数仓规划配置包括：创建数据板块和主题域、计算源、数据源、项目及项目中的成员。步骤二：规划数仓 数据集成 将创建好的数据源集成至...
离线数仓构建流程概述
步骤一：准备工作 规划数仓 数仓规划是数据建设中的蓝图，在您开始数据开发前，需要完成数据仓库的规划，数仓规划配置包括：创建数据板块和主题域、计算源、数据源、项目及项目中的成员。步骤二：规划数仓 数据集成 将创建好的数据源集成至...
应用场景
您可以将模式固定的结构化数据存储在 RDS（Relational Database Service）中，模式灵活的业务存储在MongoDB中，高热数据存储在 云数据库Redis 或 云数据库Memcache 中，实现对业务数据高效存取，降低存储数据的投入成本。移动应用 云数据库...
面临的业务挑战
数据来源上包含数据库数据、日志数据、对象数据以及已有数仓上的存量数据等。这些不同来源、不同格式的数据，各自又有不同的访问和分析方式，而大量传统企业基于关系数据库构建自己的业务系统，已经非常熟悉按SQL的方式去使用数据，这无疑...
低成本RDS历史库
大数据生态 无缝对接Spark、Hive、Flink、Presto等开源大数据生态产品，支持API访问和文件读取等多种对接方式，简单高效满足用户海量数据分析需求。典型应用 用户交易记录通过App写入MySQL，LTS将MySQL中实时同步到Lindorm，近三个月状态...
应用场景：低成本历史库
大数据生态 无缝对接Spark、Hive、Flink、Presto等开源大数据生态产品，支持API访问和文件读取等多种对接方式，简单高效满足用户海量数据分析需求。典型应用 用户交易记录通过APP写入MySQL，LTS将MySQL中实时同步到Lindorm，近三个月状态...
低成本历史库
在移动互联网高度发达的今天，每天都会有大量的业务数据产生，随着时间的积累和业务的发展数据量急剧增长，同时历史数据的访问频率随着时间的推移却越来越低。这些数据全部存储在关系型数据库中会带来了一系列的问题。重要 2023年3月10日后...
项目分配与安全
在为企业级大数据平台创建项目时，建议您对ODS层、DWD及DWS层的数据按照业务板块的粒度建立项目，对于ADS层的数据，按照应用的粒度建立项目。项目分配 在本教程中，建议参考下图建立您的MaxCompute项目，图中的每一个方块代表一个项目。...
项目分配与安全
在为企业级大数据平台创建项目时，建议您对ODS层、DWD及DWS层的数据按照业务板块的粒度建立项目，对于ADS层的数据，按照应用的粒度建立项目。项目分配 在本教程中，建议参考下图建立您的MaxCompute项目，图中的每一个方块代表一个项目。...
数据导入方式介绍
为满足多样化的数据导入需求，云原生数据仓库AnalyticDB MySQL版 提供了多种数据导入方式，包括：通过外表导入数据、使用DataWorks导入数据和利用JDBC通过程序导入数据等。本文介绍各导入方式的特性及适用场景，帮助您选择正确的数据导入...
新功能发布记录
2021-12-21 模型查看器 v6.0 DataV发布全新V6.0版本 发布五大新功能 适用用户：数据集及BI映射：企业版及以上用户 区块管理：专业版及以上用户 设计资产：企业版及以上用户 空间构建平台：需线下咨询购买 数据映射系统；BI分析功能帮助用户...
企业版产品系列
共享分布式存储（PolarStore）多个计算节点共享一份数据，而不是每个计算节点都存储一份数据，极大降低了用户的存储成本。基于分布式块存储和文件系统，存储容量可以在线平滑扩展，不会受到单个数据库服务器的存储容量限制，可应对上百TB...
权限自查建议
避免因为用户权限过大导致的数据安全风险。例如，按数据开发过程的业务分组进行账号分配。分组如管理组、数据集成组、数据模型组、算法组、分析组、运维组、安全组等。数据流动控制 限制部分项目的数据导出，控制部分人员的权限。数据随意...
客户案例
MaxCompute已被广泛应用于各大领域处理云上大数据，帮助众多企业解决了海量数据分析问题，同时降低企业运维成本，企业人员可更专注于业务开发。本文为您介绍MaxCompute的精选客户案例。MaxCompute的全量客户案例信息，请参见 行业客户案例...
资产权限列表
权限点 超级管理员 系统管理员 数据源管理员 安全管理员 质量管理员 板块架构师 板块管理员 项目管理员 普通成员 权限申请 申请数据表权限 Y Y-Y 申请数据源权限 Y Y-Y 申请函数权限 Y Y-Y 申请变量权限 Y Y-Y 申请密钥权限 Y Y-Y 申请数据...
资产权限列表
权限点 超级管理员 系统管理员 数据源管理员 安全管理员 质量管理员 板块架构师 板块管理员 项目管理员 普通成员 权限申请 申请数据表权限 Y Y-Y 申请数据源权限 Y Y-Y 申请函数权限 Y Y-Y 申请变量权限 Y Y-Y 申请密钥权限 Y Y-Y 申请数据...
数据库高级特性管理
您可以在RDS管理控制台查看或修改数据库中的各类属性，也可以手动收缩数据库事务日志和更新数据库统计信息，以优化数据库性能和提高查询效率。前提条件 已创建数据库。创建方法，请参见 创建数据库。实例所在地域必须在：华东1（杭州）、...
数据集成
数据源支持情况 数据集成目前支持40种以上的数据源类型（包括关系型数据库、非结构化存储、大数据存储、消息队列等），通过定义来源与去向数据源，并使用数据集成提供的数据抽取插件（Reader）、数据写入插件（Writer），实现任意结构化、...
Iceberg概述
您可以借助Iceberg快速地在HDFS或者阿里云OSS上构建自己的数据湖存储服务，并借助开源大数据生态的Spark、Flink、Hive和Presto等计算引擎来实现数据湖的分析。核心能力 Apache Iceberg设计初衷是为了解决Hive数仓上云的问题，经过多年迭代...
透明数据加密概述
RDS PostgreSQL支持透明数据加密（Transparent Data Encryption，简称TDE），对数据文件进行实时加密和解密，保护用户数据隐私，本文介绍透明数据加密的基本概念和加密原理。什么是透明数据加密 透明数据加密指对数据文件执行实时I/O加密和...
数仓构建流程
基本概念 在正式学习本教程之前，您需要首先理解以下基本概念：业务板块：比数据域更高维度的业务划分方法，适用于庞大的业务系统。维度：维度建模由Ralph Kimball提出。维度模型主张从分析决策的需求出发构建模型，为分析需求服务。维度是...
数仓构建流程
基本概念 在正式学习本教程之前，您需要首先理解以下基本概念：业务板块：比数据域更高维度的业务划分方法，适用于庞大的业务系统。维度：维度建模由Ralph Kimball提出。维度模型主张从分析决策的需求出发构建模型，为分析需求服务。维度是...
配置数据质量监控
ads_user_info_1d 对每日用户数据进行表行数波动监测，以此观察每日UV的波动，以便及时了解应用动态。进入规则配置页面 进入数据质量页面。登录 DataWorks控制台，单击左侧导航栏的 数据建模与开发>数据质量，在下拉框中选择对应工作空间后...
配置数据质量监控
ads_user_info_1d 对每日用户数据进行表行数波动监测（弱规则）及业务主键唯一性校验（强规则），以此观察每日UV的波动，以便及时了解应用动态。进入规则配置页面 进入数据质量页面。登录 DataWorks控制台，单击左侧导航栏的 数据建模与...
DataWorks快速入门指引
DataWorks基于MaxCompute、Hologres、EMR、AnalyticDB、CDP等大数据引擎，为数据仓库、数据湖、湖仓一体等解决方案提供统一的全链路大数据开发治理平台，为了便于新用户快速了解DataWorks的数据开发治理操作全流程，DataWorks为您提供了...
添加及管理识别结果
也可根据数据分类（或未指定分类）、数据分级、数据板块、项目、生效状态、锁定状态、识别方式进行精确筛选。② 列表区 为您展示识别结果的表、字段、所属项目/板块、数据分类、数据分级、生效状态/日期、识别方式信息。生效状态：生效状态...
添加及管理识别结果
也可根据数据分类（或未指定分类）、数据分级、数据板块、项目、生效状态、锁定状态、识别方式进行精确筛选。② 列表区 为您展示识别结果的表、字段、所属项目/板块、数据分类、数据分级、生效状态/日期、识别方式信息。生效状态：生效状态...
RDS MySQL修改字符集（平滑方案）
由于业务需求，需要变更表的字符集（例如从gbk变更为utf8mb4），如果直接使用ALTER命令修改字符集会锁表，当数据表过大时，对业务的影响较大。本文介绍的操作方法需要先在目标实例中创建表结构信息（新字符集），再通过DTS将源实例的数据...
典型应用
用户画像分析 随着数据时代的发展，各行各业数据平台的体量越来越大，用户个性化运营的诉求也越来越突出，用户标签系统，做为个性化千人千面运营的基础服务，应运而生。如今，几乎所有行业（如互联网、游戏、教育等）都有实时精准营销的...
产品简介
DLA Ganos是基于云原生数据湖分析（Data Lake Analytics，DLA）系统设计开发的，面向时空大数据存储与计算的数据引擎产品。基于DLA无服务器化（Serverless）数据湖分析服务与内置的Spark计算引擎，DLA Ganos打通了阿里云各个存储系统，如...
- 产品推荐
- 这些文档可能帮助您