产品和业务限制
限制项 描述 例外申请方式 购买分析型数据库MySQL版的限制 账户余额大于等于500元现金 请联系技术支持 开通分析型数据库MySQL版的用户限制 用户需实名认证 无 可创建的最大分析型数据库MySQL版数 3个 联系技术支持申请更多 单个分析型数据...
技术面临的挑战与革新
分布式事务与集中式事务的优劣 事务处理是数据库保证ACID语义的核心功能，因为数据库系统需要处理大量的并发事务，为了保证并发事务能够尽可能高效的并发执行而又互不干扰，发展出若干种技术，比如多版本并发处理(MVCC)，乐观并发处理(OCC)...
PolarDB HTAP实时数据分析技术解密
其在大数据量上运行复杂查询的性能可以与Oracle、SQL Server等业界商用数据库系统处在同一水平。In-Memory Column Index的技术架构 行列混合的优化器 PolarDB原生有一套面向行存的优化器组件。在引擎层增加列存功能后，此部分需要进行功能...
产品架构
如下图所示，与传统方案相比，Lindorm系统极大地简化数据存储技术架构设计，大幅度提升系统稳定性，降低建设成本投入。总体架构 Lindorm创新性地使用存储计算分离、多模共享融合的云原生架构，以适应云计算时代资源解耦和弹性伸缩的诉求。...
DataWorks on EMR数据安全方案
在大数据领域，阿里云为企业用户提供了一整套数据安全方案，包含用户认证、数据权限、大数据作业管理体系等。本文以联合使用DataWorks与EMR为例，为您介绍DataWorks on EMR场景下的数据安全方案。背景信息 DataWorks on EMR目前支持LDAP...
构建数据仓库
DataWorks具有通过可视化方式实现数据开发、治理全流程相关的核心能力，本文将为您介绍DataWorks在构建云上大数据仓库和构建智能实时数据仓库两个典型应用场景下的应用示例。构建云上大数据仓库 本场景推荐的架构如下。适用行业：全行业...
账单数据订阅及查询分析
DataWorks及MaxCompute：DataWorks基于MaxCompute等大数据引擎，支持您在线进行SQL分析、业务洞察、编辑和分享数据，以及将查询结果保存为可视化图表卡片，快速搭建可视化数据报告。订阅账单数据后，用户中心会将相关账单数据同步至指定...
资产质量概述
因业务系统的原始数据的规范性无法得以保障，所以Dataphin需要定义数据分析的质量，以满足资产质量的时效性、准确性、完整性、一致性、有效性，助您真正能够依赖数据进行经营决策。数据质量流程引导 数据质量流程引导帮助您从（可选）配置...
资产质量概述
因业务系统的原始数据的规范性无法得以保障，所以Dataphin需要定义数据分析的质量，以满足资产质量的时效性、准确性、完整性、一致性、有效性，助您真正能够依赖数据进行经营决策。数据质量流程引导 数据质量流程引导帮助您从（可选）配置...
分析业务过程
为理清数据之间的逻辑关系和流向，首先需要理解用户的业务过程，了解过程中涉及到的数据系统。您可以采用过程分析法，将整个业务过程涉及的每个环节一一列清楚，包括技术、数据、系统环境等。在分析企业的工作职责范围（部门）后，您也可以...
分析业务过程
为理清数据之间的逻辑关系和流向，首先需要理解用户的业务过程，了解过程中涉及到的数据系统。您可以采用过程分析法，将整个业务过程涉及的每个环节一一列清楚，包括技术、数据、系统环境等。在分析企业的工作职责范围（部门）后，您也可以...
离线数仓构建流程概述
步骤五：规范建模 数据开发 基于 规范定义 明确好的统计指标口径和 规范建模 部分定义好的模型完成规范建模数据开发。包括维度逻辑表、事实逻辑表、原子指标、业务限定、派生指标。步骤一：开发维度逻辑表 步骤二：开发事实逻辑表 步骤三：...
离线数仓构建流程概述
步骤五：规范建模 数据开发 基于 规范定义 明确好的统计指标口径和 规范建模 部分定义好的模型完成规范建模数据开发。包括维度逻辑表、事实逻辑表、原子指标、业务限定、派生指标。步骤一：开发维度逻辑表 步骤二：开发事实逻辑表 步骤三：...
模型规范化检查
模型规范化检查是指在进行数据模型设计的过程中，开启数据规范检查功能，在建模时予以参考。操作步骤 在模型设计区的下方可以看到 模型规范 选项卡，单击 开始检查 即可对模型的设计规范进行检查，错误、警告、提示栏 中分别显示模型规范...
分析业务过程
为梳理数据之间的逻辑关系和流向，需要理解用户的业务过程及数据系统。您可以采用过程分析法，列出整个业务过程涉及的每个环节，包括技术、数据、系统环境等。分析完企业的工作职责范围（部门）后，借助工具通过逆向工程抽取业务系统的真实...
产品概述
产品描述 Dataphin是集产品、技术、方法论于一体的智能大数据平台建设引擎，为您提供数据引入、规范定义、建模研发、资产管理、数据服务等全链路智能数据建设及治理服务。功能 描述 Dataphin全托管 全托管又称公共云多租户模式，只需购买...
新建普通维度逻辑表
参数 描述 数据延迟 开启数据延迟，系统将自动重跑本逻辑表在 最大延迟天数 周期内的全部数据。详细说明，请参见 配置逻辑表数据延迟。调度属性 用于定义维度逻辑表在生产环境的调度方式。您可以通过调度属性，配置维度逻辑表的调度类型、...
用户价值
数据资源平台为用户提供了一站式数据资产定义、生产、管理与服务平台，提供企业级数据资产构建能力和一致性使用体验，助力客户快速构建数据智能平台，实现数据资源统一管理，挖掘潜在规律，优化业务决策，让大数据真正的驱动客户业务。...
Delta Lake概述
Delta Lake以数据为中心，围绕数据流走向（数据从流入数据湖、数据组织管理和数据查询到流出数据湖）推出了一系列功能特性，协助您搭配第三方上下游工具，搭建快捷、易用和安全的数据湖。背景信息 通常的数据湖方案是选取大数据存储引擎...
创建快照
数据库文件系统快照基于云盘快照，它是一种便捷高效的数据容灾手段，用于对文件系统的数据进行备份。前提条件 进行快照创建时，数据库文件系统必须处于 已挂载 或 待挂载 状态。说明 如果文件系统处于 待挂载 的状态，则需要保证文件系统有...
测试阶段
数据规范性：命名规范、表结构规范、精度要求、空值处理方式、时间类型格式等是否符合要求。数据基础：主键唯一性，空值、重复值、无效值占比是否符合要求。业务正确性：各业务点是否被正确实现，可以通过划分边界值、等价类等样本数据进行...
客户案例
然而大数据的并行查询不能拖垮系统中的高优先级的小请求，并且当 MySQL 单表数据规模超过 2000 万时，其查询性能就出现断崖式的下跌，这也是业务无法容忍的一大缺陷，因此，我们在系统选型上更倾向于 OceanBase 这样具有高吞吐，数据读写...
数据迁移
本文为您介绍数据迁移的最佳实践，包含将其他业务平台的业务数据或日志数据迁移至MaxCompute，或将...MaxCompute处理业务数据和日志数据后，可以通过Quick BI快速地以可视化方式展现数据处理结果，详情请参见 基于MaxCompute的大数据BI分析。
查看敏感数据识别结果
仅支持在 结构化数据、半结构化数据、非结构化数据 或 大数据 分类下分别选择一个或多个数据类型，不支持跨分类同时选择多个数据类型。如果您未选中任意数据类型，数据安全中心默认展示所有数据类型下的敏感数据识别结果。数据模板：在 ...
应用场景
解决方案：数据融合：通过数据引入功能，将业务系统数据集成、融合一体，统一基础数据。数据建模：通过规范建模功能，结合业务发展需求，自顶向下设计标准的数据模型，统一公共数据。数据生产：基于建模后系统代码自动化托管生产功能，快速...
数据分析概述
功能概述 SQL查询 SQL查询是使用标准的SQL语句，来查询和分析存储在MaxCompute中的大数据，详情请参见 SQL查询。您可以通过编写SQL语句，对有查询权限的数据源进行快速的数据查询与分析操作，详情请参见 功能概览。DataWorks SQL查询提供了...
建立性能基准
在优化表前后测试系统性能时，您需要记录每张表的数据同步时间、占用存储大小以及查询性能的详细信息。如果您使用的是包年包月方式购买的MaxCompute项目资源，还需要记录购买数。测试项 测试值 数据同步时间 无 占用存储大小 无 查询执行...
建立性能基准
在优化表前后测试系统性能时，您需要记录每张表的数据同步时间、占用存储大小以及查询性能的详细信息。如果您使用的是包年包月方式购买的MaxCompute项目资源，还需要记录购买数。测试项 测试值 数据同步时间 无 占用存储大小 无 查询执行...
什么是Dataphin
Dataphin是阿里巴巴集团OneData数据治理方法论内部实践的云化输出，一站式提供数据采、建、管、用全生命周期的大数据能力，以助力企业显著提升数据治理水平，构建质量可靠、消费便捷、生产安全经济的企业级数据中台。Dataphin兼容多种计算...
配置DM（达梦）输出组件
配置DM（达梦）输出组件，可以将外部数据库中读取的数据写入到DM（达梦），或从大数据平台对接的存储系统中将数据复制推送至DM（达梦），进行数据整合和再加工。本文为您介绍如何配置DM（达梦）输出组件。前提条件 已创建DM（达梦）数据源...
数据质量概述
数据质量帮助您第一时间感知源端数据的变更与ETL（Extract Transformation Load）中产生的脏数据，自动拦截问题任务，有效阻断脏数据向下游蔓延。避免任务产出不符合预期的问题数据，影响正常使用和业务决策。同时也能显著降低问题处理的...
快速入门
作为学院派关系型数据库管理系统的鼻祖，它的优点主要集中在对SQL规范的完整实现以及丰富多样的数据类型支持，包括JSON数据、IP数据和几何数据等，而大部分商业数据库都不支持这些数据类型。除了完美支持事务、子查询、多版本控制（MVCC）...
版本发布记录
本文介绍云原生数据湖分析DLA的产品功能动态。2021年6月 类别 功能点 描述 相关文档 集群管理 监控报警 Spark集群支持监控报警。...接入MNS和ONS消息系统 接入MNS和ONS消息系统，能够极大提升数据湖数据处理扭转和业务集成的便利性。
ODS层设计规范
数据同步及处理规范 数据同步方式的选择 基本规范通过需求形式落地到DataWorks的数据集成，规范落地情况依赖工具的推进节奏。一个系统的源表只允许同步一次到MaxCompute。数据加载与处理 通过一键实时同步至MaxCompute方案实现，请参见 ...
新建数据字典
创建好数据字典后，可以用来规范数据元、指标、维度等的值域范围。例如：我们把“研究生”、“本科”、”高中“、”小学“等这类词统一用“教育水平”这个描述词作为集合包含进去。操作步骤 登录 数据资源平台控制台。在页面左上角，单击 ...
新建数据字典
创建好数据字典后，可以用来规范数据元、指标、维度等的值域范围。例如：我们把“研究生”、“本科”、”高中“、”小学“等这类词统一用“教育水平”这个描述词作为集合包含进去。操作步骤 登录企业数据智能平台。在页面左上角，单击 图标...
配置跨库Spark SQL节点
系统在计算数据量过大且缺失主键的表时，会导致内存溢出或内存耗尽（OOM）。周期调度节点最近一次运行成功后，若连续运行失败10次及以上，离线集成任务直接执行失败，且不会再提交Spark任务。此时，您需要手动运行成功该任务节点。应用场景...
配置FTP输入组件
FTP输入组件适用于从FTP中将数据读取至大数据平台对接的存储系统内，进行数据整合和再加工。本文为您介绍如何配置FTP输入组件。前提条件 已创建FTP数据源，详情请参见 创建FTP数据源。进行FTP输入组件属性配置的账号，需具备该数据源的同步...
配置FTP输入组件
FTP输入组件适用于从FTP中将数据读取至大数据平台对接的存储系统内，进行数据整合和再加工。本文为您介绍如何配置FTP输入组件。前提条件 已创建FTP数据源，详情请参见 创建FTP数据源。进行FTP输入组件属性配置的账号，需具备该数据源的同步...
冷热分离
背景信息 在海量大数据场景下，一张表中的部分业务数据随着时间的推移仅作为归档数据或者访问频率很低，同时这部分历史数据体量非常大，比如订单数据或者监控数据，降低这部分数据的存储成本将会极大的节省企业的成本。因此，如何以极简的...
- 产品推荐
- 这些文档可能帮助您