常见问题
迁移与同步 为什么OSS外表导入ORC、PARQUET等格式的数据，出现内存报错或OOM挂掉？如何处理导入数据报错：too many parts？为什么DataX导入速度慢？为什么Hive导入后其数据行数跟ClickHouse对不上？为什么Kafka导入后其数据行数跟...
单元化介绍
单元化架构就是将单元作为部署的基本单位，在全站所有机房中部署多个单元，每个机房内单元数目不固定，任一单元均部署系统所需的全部应用，数据则是全量数据按照某种维度划分后的一部分。传统意义上的 SOA 化（服务化）架构，服务是分层的...
解决方案与客户案例
针对上层业务不同的服务类型提供UNIT和COPY两种数据同步策略：UNIT类型：每个单元部署独立的数据库系统，单元之间通过DTS进行数据【双向】实时同步，保持每个单元都有全量数据，每个单元均可进行读写操作，读写流量会根据业务定制的分流...
解决方案与客户案例
中心化服务：强依赖中心单元的服务，流量都会被转发到中心单元，通过中心单元的服务访问中心单元的数据层。普通服务：不做任何改造的服务，在本单元内进行服务调用，并访问本单元的数据层。支持多活能力的主要服务类型是单元化服务，但是当...
表格产品说明书
数据总是被输入到活动单元格中，在单元格中输入的任何数据都将被保存在这些单元格中，在单元格中输入的数据可以是一个字符串、一组数字、一个公式或者一幅图像等。用鼠标单击即可选择活动单元格，活动单元格的地址将显示在编辑栏的名称框中...
MSHA应用双活架构接入Helloworld
北京单元的数据库显示如下图：数据保护规则如下图：测试步骤 北京单元的应用执行数据库读操作（即查询商品详情）、写操作（即下单），应该访问到北京数据库。杭州单元的应用执行数据库读操作（即查询商品详情）、写操作（即下单），应该...
数据服务概述
使用场景 最小粒度的数据输出控制 当企业需要对外提供数据时，可以使用调用API的方式，该方式可帮助用户仅暴露最小单元的数据（可控制到行级、列级）。使用API数据源进行可视化制作 在多数可视化工具中使用API数据源来分析数据，而不是对外...
SQL结果集导出
该实例下的数据库包含您待导出的数据。录入实例的具体操作，请参见 云数据库录入、他云/自建数据库录入。注意事项 SQL结果集导出功能在免费导出数据的行数、单次导出表容量等方面受限于管控模式。更多信息，请参见 各管控模式支持的功能。...
功能特性
结构同步 空库初始化 支持将源数据库的表结构同步至空数据库中（数据库中不存在任何表），实现快速同步数据库表结构，适用部署多区域、多单元的数据库环境。空库初始化 表一致性修复 用于对比不同表之间的表结构，找出差异并在目标表执行...
数据服务概述
DataWorks数据服务模块是一个灵活轻量、安全稳定的数据API构建平台，作为数据库和数据应用之间的“桥梁”，DataWorks数据服务旨在为个人、团队和企业提供全面的数据服务和共享能力，帮助用户统一管理面向内外部的API服务。例如，您可以将...
数据服务入门
DataWorks数据服务的主要目标是为个人、团队和企业构建统一的数据服务总线，帮助用户统一管理面向内外部的API服务。例如，您可以将查询数据表功能快速的生成对应的API，或将已有的API注册至数据服务平台进行统一发布和管理。本文以MySQL...
表设计最佳实践
数据量较大时，需确保同一个业务单元的数据使用分区表设计；数据量较小时，需优化采集频率。流式数据写入 对于流式写入的数据，采集的通道通常较多，相关采集通道应该进行有效区分。在单个数据通道写入量较大的情况下，应该按照时间进行...
通过数据同步功能同步Kafka至湖仓版（推荐）
注意事项 Kafka中创建的Topic数据超过一定的时间会被自动清理，如果Topic数据过期，同时数据同步任务失败，重新启动同步任务时读取不到被清理掉的数据，会有丢失数据的风险。因此请适当调大Topic数据的生命周期，并在数据同步任务失败时...
数据水印
影响行数（必选）预估本次导出会影响的数据行数，您可以在SQLConsole中使用 count 命令进行统计。说明 在预检查阶段，系统将会显示实际影响行数，您可以再次校验是否符合预期，及时发现异常，避免发生数据安全事故。跳过校验（可选）是否跳...
文档更新动态（2023年）
支持在数据标准配置质量监控：支持在已映射关系列表，针对映射关系中的资产对象批量添加其相关的数据标准已配置的质量监控并添加调度方式；此类规则将影响落标评估明细中的落标评估率，以补全数据标准监控链路。标准侧配置的质量监控在质量...
功能更新动态（2023年）
支持在数据标准配置质量监控：支持在已映射关系列表，针对映射关系中的资产对象批量添加其相关的数据标准已配置的质量监控并添加调度方式；此类规则将影响落标评估明细中的落标评估率，以补全数据标准监控链路。标准侧配置的质量监控在质量...
查看资源用量大盘
资源用量大盘为您展示当前租户下已使用的数据处理单元总量和按任务类型分别统计的消耗趋势以及按项目粒度统计的消耗增量排行，帮助您了解数据处理单元的消耗情况以及时调整资源规格配置。本文为您介绍如何查看资源用量大盘。前提条件 需...
新建注册上挂指标
您可以将物理表中的指标字段上挂至汇总逻辑表进行数据分析。...参数 描述 数据类型 选择上挂指标的数据类型。度量单位 选择上挂指标的度量单位。业务负责人 选择上挂指标的业务负责人。描述 填写对上挂指标的简单描述。配置完成后单击 确定。
新建注册上挂指标
您可以将物理表中的指标字段上挂至汇总逻辑表进行数据分析。...参数 描述 数据类型 选择上挂指标的数据类型。度量单位 选择上挂指标的度量单位。业务负责人 选择上挂指标的业务负责人。描述 填写对上挂指标的简单描述。配置完成后单击 确定。
创建单物理表服务单元
模式 模式用于定义服务单元读取的数据是来自开发数据源还是开发生产数据源。模式包括 Basic 和 Dev-Prod 模式：Basic：选择了Basic模式后，服务单元读取数据时您只能选择到生产数据源。Dev-Prod：选择了Dev-Prod模式后，服务单元读取数据时...
表
表是MaxCompute的数据存储单元。它在逻辑上是由行和列组成的二维结构，每行代表一条记录，每列表示相同数据类型的一个字段。MaxCompute的表类似于传统关系型数据库中的表，可以存储结构化数据，并且使用SQL进行查询和分析。MaxCompute中...
分析数据
DataWorks的电子表格为您提供丰富、便捷的数据分析操作，其操作与Office Excel高度一致，大大降低您的学习成本。前提条件 已创建并导入数据至电子表格。详情请参见 创建电子表格 和 导入数据至电子表格。背景信息 您可以在电子表格的编辑...
创建多物理表服务单元
模式 模式用于定义服务单元读取的数据是来自开发数据源还是开发生产数据源。模式包括 Basic 和 Dev-Prod 模式：Basic：选择了Basic模式后，服务单元读取数据时您只能选择到生产数据源。Dev-Prod：选择了Dev-Prod模式后，服务单元读取数据时...
如何处理Tair集群数据倾斜
下图介绍两个典型的数据倾斜场景，如下图所示，虽然Key均匀地分布在集群中，每个数据分片节点2个Key，但仍产生了数据倾斜：Replica 1 节点中 key1 的QPS明显高于其他Key，属于典型的 数据访问倾斜，会导致该Key所在的数据分片节点CPU使用率...
如何处理Redis集群数据倾斜
下图介绍两个典型的数据倾斜场景，如下图所示，虽然Key均匀地分布在集群中，每个数据分片节点2个Key，但仍产生了数据倾斜：Replica 1 节点中 key1 的QPS明显高于其他Key，属于典型的 数据访问倾斜，会导致该Key所在的数据分片节点CPU使用率...
创建与释放全球多活数据库集群
单元节点实例类型 选择单元节点 RDS MySQL 实例的数据库类型。目前仅支持选择为 MySQL。单元节点版本 选择单元节点 RDS MySQL 实例的数据库版本。说明 建议单元节点与中心节点的数据库版本保持一致。单元节点存储类型 设置单元节点 RDS ...
升级
说明 如果您已购买智能研发版的数据处理单元和资产质量的最高规格，且已开通所有可选增值功能包，则不支持升级操作。在Dataphin升级页面，根据页面提示，升级Dataphin实例。说明 新购买的增值功能包的到期时间同已开通实例的到期时间一致。...
敏感数据溯源
背景信息 通过DataWorks的 数据保护伞 的 数据脱敏管理，开启目标 数据识别规则 的 数据水印 功能后，则在DataWorks中，对命中该规则的数据所执行的所有操作（例如查询、下载等）均会自动生成水印信息。水印信息用于记录用户的访问行为，...
租户设置
通过创建多个租户，可以对不同租户分配不同的数据单元以及功能模块，并能够保证租户间数据隔离，满足不同租户的不同要求。本文为您介绍如何新建、编辑、删除以及恢复租户。权限说明 仅元仓租户的超级管理员与系统管理员支持新建及管理租户...
公告
2023年07月11日-数据处理单元拓展及数据萃取功能下架通知 2023年07月11日起，Dataphin售卖变更如下：智能研发版和基础研发版可选的数据处理单元规格拓展，支持3500、4000、4500、5000。数据萃取功能下架，不支持新购和升级，历史已购客户...
数据上传
DataWorks的数据上传功能支持将本地文件、数据分析的电子表格、OSS文件等数据上传至MaxCompute、EMR Hive、Hologres等引擎进行分析及管理，为您提供便捷的数据传输服务，助力您快速实现数据驱动业务。本文为您介绍如何使用数据上传功能上传...
CreateGADInstance-创建GAD实例
MySQL EngineVersion string 否 新建单元节点的数据库版本。取值：8.0 5.7 5.6 5.5 N 为 1~10的整数，代表第 N 个单元节点。一个 RDS 全球多活数据库集群中最多可以创建 10 个单元节点。8.0 DtsConflict string 是 新建单元节点在同步时...
CreateGADInstance-创建GAD实例
MySQL EngineVersion string 否 新建单元节点的数据库版本。取值：8.0 5.7 5.6 5.5 N 为 1~10的整数，代表第 N 个单元节点。一个 RDS 全球多活数据库集群中最多可以创建 10 个单元节点。8.0 DtsConflict string 是 新建单元节点在同步时...
导入数据至维表
如果无法正确分隔单元格的数据，您可以切换分隔符。数据预览 预览需要导入的数据，您可以选中或取消 首行为字段名。字段映射 设置 维表字段 和 数据列 的映射关系。导入数据方式 包括 追加 和 覆盖。本地Excel文件 参数 描述 文件 单击 ...
功能特性
向量计算 Proxima CE 存储 表是MaxCompute的数据存储单元，MaxCompute中不同类型作业的操作对象（输入、输出）都是表；MaxCompute采用列压缩存储格式，通常情况下具备5倍压缩能力；MaxCompute数据存储格式全面升级为AliORC，具备更高存储...
配置管理
提交数据变更时的原因分类。示例以及详情请参见 附录：数据变更原因分类。数据变更的执行方式 取值：COMMITOR：表示审批通过后由提交者执行。AUTO：表示审批通过后自动执行。LAST_AUDITOR：表示由最后一个审批人执行。审批流的审批节点是否...
CreateGadInstanceMember-创建Gad实例成员
MySQL EngineVersion string 否 新建单元节点的数据库版本。取值：8.0 5.7 5.6 5.5 N 为 1~10的整数，代表第 N 个单元节点。一个 RDS 全球多活数据库集群中最多可以创建 10 个单元节点。8.0 DtsConflict string 是 新建单元节点在同步时...
CreateGadInstanceMember-创建Gad实例成员
MySQL EngineVersion string 否 新建单元节点的数据库版本。取值：8.0 5.7 5.6 5.5 N 为 1~10的整数，代表第 N 个单元节点。一个 RDS 全球多活数据库集群中最多可以创建 10 个单元节点。8.0 DtsConflict string 是 新建单元节点在同步时...
导入数据至电子表格
如果无法正确分隔单元格的数据，您可以切换分隔符。数据预览 预览需要导入的数据。导入起始行 从您设置的起始行的数据开始导入，默认为1。放置位置 包括 当前工作表 和 新工作表。放置方式 包括 追加、覆盖 和 活动单元格。本地Excel文件 ...
数据倾斜诊断
您也可以添加过滤条件，查看指定Schema或指定表的数据倾斜情况，查询语句如下：查看指定Schema下所有表的数据倾斜情况：SELECT*FROM adbpg_toolkit.diag_skew_tables WHERE schema_name='名称>';查看指定表的数据倾斜情况：SELECT*FROM ...
- 产品推荐
- 这些文档可能帮助您