创建数仓分层
各个分层的功能介绍如下：数据引入层 ODS（Operational Data Store）ODS层用于接收并处理需要存储至数据仓库系统的原始数据，其数据表的结构与原始数据所在的数据系统中的表结构一致，是数据仓库的数据准备区。ODS层对原始数据的操作具体...
新建开发环境场景并运行
数据结构 输入表的数据格式，由数据模型定义，在下拉列表中选择，表示该计算资源中提供数据的数据表的结构。当选择数据表时，需保证输入的模型与上游节点的输出数据模型相同，物理表名可以自定义。当选择星号（*）时，代表数据结构为任意...
新建开发环境场景并运行
数据结构 输入表的数据格式，由数据模型定义，在下拉列表中选择，表示该计算资源中提供数据的数据表的结构。当选择数据表时，需保证输入的模型与上游节点的输出数据模型相同，物理表名可以自定义。当选择星号（*）时，代表数据结构为任意...
创建并使用MaxCompute表
提交成功后，可执行如下操作：查看表结构 在数据开发（DataStudio）开发ODPS SQL任务，通过 desc projectname.tablename 命令查看。查看引擎信息 查看生产环境绑定的MaxCompute引擎及新建表，详情请参见 绑定与管理MaxCompute引擎。...
创建并使用MaxCompute表
提交成功后，可执行如下操作：查看表结构 在数据开发（DataStudio）开发ODPS SQL任务，通过 desc projectname.tablename 命令查看。查看引擎信息 查看生产环境绑定的MaxCompute引擎及新建表，详情请参见 绑定与管理MaxCompute引擎。...
基本概念
MySQL Binlog：实时数据同步模式，通过同步并解析记录所有数据库表结构变更（例如CREATE、ALTER TABLE…）以及表数据修改（INSERT、UPDATE、DELETE…）的二进制日志，实现数据的秒级同步。SQLServer CDC：实时数据同步模式，开启CDC的源表...
网易有数BI连接MaxCompute
查看表结构及表数据 成功添加MaxCompute数据源后，您可以在网易有数BI的 数据连接 下，单击目标表名，即可查看表结构及表数据信息。可视化分析数据 在报告编辑页面的顶部菜单栏，选择目标图表类型，然后将右侧的 维度 或 度量 字段拖拽到 ...
管理表结构版本
当您在 数据管理DMS 中对数据库进行表结构变更后，DMS将会保存最新的表结构至数据库版本列表中。您可以在数据库版本列表中下载、对比、恢复历史版本的表结构。前提条件 您具有该表（或库）的查询权限，更多信息，请参见 查看我的权限。表...
离线同步数据质量排查
本文将为您列举一些常见数据质量方面的场景，方便您排查是否存在符合的场景，根据对应解决方案解决数据同步质量问题。背景信息 讲述数据集成数据同步的原理机制，理解数据同步的过程，进而对数据同步的执行效果有判断能力，判断数据同步...
数据表管理
本文介绍了在 PolarDB-X 1.0 控制台上对数据表进行调整拆分键、关闭全表扫描和查看表结构的方法。前提条件 您需要先 连接到数据库 并 使用SQL语句创建表 后，才能在控制台上管理数据表。功能介绍 调整拆分键 拆分键即分库或分表的数据表字...
确认表血缘
任务配置上下游节点依赖前，您需先确认当前节点的表血缘关系（例如，表数据间的血缘关系、表产出的分区数据），基于血缘关系配置节点的调度依赖。本文为您介绍如何确认表血缘，以及未基于表血缘配置节点依赖的影响。背景信息 确认表血缘，...
从自建MySQL迁移至PolarDB-X
根据自建MySQL数据库中待迁移数据表的数据结构，在目标 PolarDB-X 中创建相应的数据库和数据表，详情请参见 创建数据库 和 SQL基本操作。操作步骤 登录 数据传输控制台。说明 若数据传输控制台自动跳转至数据管理DMS控制台，您可以在右下角...
申请、续期和交还表权限
已生效数据表权限 您可以在数据表 已生效 页签查看数据表基本信息及对数据表执行续期及交还操作。区域 描述 ① 筛选及搜索区 支持按照 到期日期、表类型、表环境、数据板块、表所在项目、账号类型 进行筛选。支持按照数据表的名称、表所在...
申请、续期和交还表权限
已生效数据表权限 您可以在数据表 已生效 页签查看数据表基本信息及对数据表执行续期及交还操作。区域 描述 ① 筛选及搜索区 支持按照 到期日期、表类型、表环境、数据板块、表所在项目、账号类型 进行筛选。支持按照数据表的名称、表所在...
Spark常见报错
解决方法：数据表仅需指定一次，请删除 url 参数中指定的表名。SQLException.*No suitable driver found for 报错出现日志：Driver日志。报错原因：通过Spark访问JDBC数据源时，没有找到合适的驱动。解决方法：检查作业配置的JAR包，需确保...
将MySQL数据迁移到Redis
关系型数据库中库表结构的数据无法直接传入以键值结构保存数据的Redis数据库，迁移前需要将源端数据转换为特定的结构。这篇最佳实践以MySQL向Redis整表迁移为例，介绍如何通过原生工具进行简单高效地迁移。MySQL的表数据将通过Redis ...
空库初始化
数据管理DMS 的空库初始化功能支持将源数据库的表结构同步至空数据库中（数据库中不存在任何表），实现快速同步数据库表结构，适用部署多区域、多单元的数据库环境。前提条件 支持的数据库类型如下：MySQL：RDS MySQL、PolarDB MySQL版、...
资产质量概述
资产质量提供全链路的数据质量解决方案，包括数据表、数据源、指标和实时元表的质量校验、质量监控、智能报警、生成质量报告、发起整改等功能。保证了数据在生产及使用流程中的可靠性和合理性，从而避免因为数据质量问题而导致数据失信、...
自建SQL Server迁移至RDS SQL Server
源库的操作限制：在库表结构迁移和全量迁移阶段，请勿执行库或表结构变更的DDL操作，否则数据迁移任务会失败。如仅执行全量数据迁移，请勿向源实例中写入新的数据，否则会导致源和目标数据不一致。为实时保持数据一致性，建议选择结构迁移...
资产质量概述
资产质量提供全链路的数据质量解决方案，包括数据表、数据源、指标和实时元表的质量校验、质量监控、智能报警、生成质量报告、发起整改等功能。保证了数据在生产及使用流程中的可靠性和合理性，从而避免因为数据质量问题而导致数据失信、...
表详情
数据血缘功能展示表到表（表血缘）、字段到字段（字段血缘）的数据流转情况，便于您根据数据的上下游情况，对解决数据治理问题（如数据重复加工、越权使用等）及减少数据变更产生的影响提供较有价值的帮助。您可在关系图中进行如下操作：...
支持的数据库
库表结构同步 全量数据同步 增量数据同步 单向同步 PolarDB-X 1.0同步至Elasticsearch PolarDB-X 2.0 库表结构同步 全量数据同步 增量数据同步 单向同步 PolarDB-X 1.0同步至PolarDB-X 2.0 PolarDB-X 2.0 PolarDB-X 2.0 库表结构同步 全量...
迁移方案概览
库表结构迁移 全量数据迁移 增量数据迁移 PolarDB MySQL版迁移至Elasticsearch MaxCompute 库表结构迁移 全量数据迁移 增量数据迁移 PolarDB MySQL版迁移至MaxCompute 云数据库SelectDB版 库表结构迁移 全量数据迁移 增量数据迁移 PolarDB ...
与标准SQL的主要区别及解决方法
本文为您列举MaxCompute SQL与标准SQL的区别及常见问题解决方法。MaxCompute SQL与标准SQL的基本区别 主要区别 问题现象 解决方法 应用场景 不支持事务（不支持Commit和Rollback，不推荐使用INSERT INTO）。建议代码具备幂等性，支持重新...
源库存在触发器时如何配置同步作业
为解决该问题，需要删除被迁移到目标库中的触发器。实现流程 参考相关配置文档，创建源库到目标数据库的 迁移任务。重要 新版DTS控制台：迁移类型 只需选中 库表结构迁移。旧版DTS控制台：迁移类型 只需选中 结构迁移。登录目标数据库，...
同步方案概览
重要 如果不支持库表结构同步，在配置数据同步任务之前，您需要根据源库中待同步对象的结构定义，在目标库中创建数据库、数据表。全量数据同步 DTS将源库中待同步对象的存量数据，全部同步到目标库中，作为后续增量同步数据的基线数据。为...
在DMS中对数据库执行SQL时，出现“Row size too large...
问题描述 通过DMS控制台对RDS MySQL或自建MySQL数据库（ECS自建数据库或IDC自建数据库）执行SQL语句时，出现类似如下报错。Row size too large.The maximum row size for the used table type,not counting BLOBs,is 65535.This includes ...
源为PolarDB-X的功能规范和约束说明
源库变更、目标库性能、任何原因使表结构不一致等问题导致DTS任务延时或中断。阿里云无法解决以上问题，需要您重构链路或者自行调整源库和目标库。业务开发的数据质量工作 请您慎重执行所有的DDL操作，所有的DDL操作都要经过驻场同学的确认...
RDS SQL Server间的同步
费用说明 同步类型 链路配置费用 库表结构同步和全量数据同步 不收费。增量数据同步 收费，详情请参见 计费概述。支持的同步架构 一对一单向同步 一对多单向同步 级联单向同步 多对一单向同步 关于各类同步架构的介绍及注意事项，请参见 ...
源为PolarDB-X的功能规范和约束说明
源库变更、目标库性能、任何原因使表结构不一致等问题导致DTS任务延时或中断。阿里云无法解决以上问题，需要您重构链路或者自行调整源库和目标库。业务开发的数据质量工作 请您慎重执行所有的DDL操作，所有的DDL操作都要经过驻场同学的确认...
从Amazon RDS SQL Server全量迁移至阿里云
警告 选择为 忽略报错并继续执行，可能导致数据不一致，给业务带来风险，例如：表结构一致的情况下，在目标库遇到与源库主键的值相同的记录，则会保留目标库中的该条记录，即源库中的该条记录不会迁移至目标库中。表结构不一致的情况下，...
数据扫描和识别
如果现有数据表结构（列）发生变化，DSC 也会对该表进行扫描。DSC 是否会登录到数据库内获取数据？已获取授权的情况下，DSC 会登录到数据库内以数据采样的方式对数据进行敏感识别，DSC 不会保存您MaxCompute项目、数据库中的数据。目前存在...
Quick BI连接MaxCompute
数据源权限控制问题请参见 Quick BI关于业务分析人员连接MaxCompute数据源权限控制问题解决方案及常见报错解析。测试成功后，单击 确定，完成数据源的添加。此时您可以在数据源列表中，看到您创建的数据源。说明 Quick BI添加MaxCompute云...
常见错误码及排查方法
解法2：在数据库层面解决表的上限值问题。解决后重启任务。说明 针对MySQL数据库，表的上限值设置，可参考 B.3.2.10 The table is full。DTS-30011:put 2048 records error,currentRunningSQL:insert ignore into`xxx`.`yyy`(.:{id:...
概览
功能项 说明 结构设计 便捷、规范地完成表结构变更。普通数据变更 通过SQL Console直接输入SQL语句或通过数据变更工单提交数据变更。测试数据构建 批量生成各类随机值、地区名、虚拟IP地址等信息，大大减轻您准备测试数据的负担。无锁结构...
管控模式
可视化数据查询结果呈现 Y Y Y SQL格式化 Y Y Y SQL智能提示 Y Y Y 表结构管理 表结构对比 Y Y Y 表结构编辑 Y Y Y 表结构同步 Y Y Y 数据字典导出 5个 无限制 无限制 表结构设计规范 N N Y 表结构研发流程 N N 支持跨云账号、跨数据库和自...
数据归档
背景信息 ODC 支持定时将源数据库中的表数据归档至其它目标数据库中，以解决因线上数据增多影响查询性能与业务运作的问题。本文档旨在介绍如何通过提交数据归档工单实现归档数据。原理介绍 前提条件 归档的表中必须包含主键。注意事项 前置...
外部表概述
第二种方法通常需要申请UDF网络访问权限，还需要开发者自己控制作业并发数，解决数据如何分片的问题。因此，MaxCompute提供了外部表来解决上述问题。外部表的功能旨在提供除MaxCompute内部表格以外的其他数据的处理能力。通过一条简单的DDL...
Tunnel SDK常见问题
问题类别 常见问题 Tunnel SDK Upload 使用Tunnel SDK上传数据时，上传的数据可以自动分配到各个分区吗？使用Tunnel SDK上传数据时，编写完UDF打成JAR包后上传，对JAR包大小有要求吗？使用Tunnel SDK上传数据时，是否有分区数量限制？使用...
新增离线数据同步任务
在数据表下拉列表，单击 创建目标对象，可创建表作为同步目标数据表，支持创建分区表。在数据表下拉列表，单击 获取物理表，可获取最新物理表Meta信息。分区字段 分区字段信息。写入处理规则 选择写入处理规则，包括写入前清理已有数据、...
- 产品推荐
- 这些文档可能帮助您