文档更新动态（2023年）
支持鼠标悬停表名称提示表结构；SQL中使用函数或鼠标悬停至函数提示函数说明。输入set参数时，系统自动提示当前引擎可设置的参数列表并提示该参数的说明。系统自动检测SQL中的错误语法，提示错误说明，并提供快捷修复选项。自动识别语句，...
功能更新动态（2023年）
支持鼠标悬停表名称提示表结构；SQL中使用函数或鼠标悬停至函数提示函数说明。输入set参数时，系统自动提示当前引擎可设置的参数列表并提示该参数的说明。系统自动检测SQL中的错误语法，提示错误说明，并提供快捷修复选项。自动识别语句，...
统计表
数据表可以选择表，也可以选择视图。若您选择的是表，则系统会自动识别该表是否包含时间分区。若表包含时间分区，请选择时间分区字段，并输入分区值的格式，支持的格式如下图所示。并且，请选择希望的更新方式：增量更新：每次更新前保存...
用户行为
数据表可以选择表，也可以选择视图。若您选择的是表，则系统会自动识别该表是否包含时间分区。若表包含时间分区，请选择时间分区字段，并输入分区值的格式，支持的格式如下图所示。并且，请选择希望的更新方式：增量更新：每次更新前保存...
表结构配置管理
选择工作空间>配置管理>数据接入管理>数据导入>表结构配置，已配置的数据表列表如下图所示。表结构配置列表支持查看、编辑、查看调度任务、移除，但通过API导入的表结构配置（创建者是API同步）不支持编辑、移除。查看表结构配置 单击 查看...
订单汇总
配置订单汇总表结构，用于导入订单汇总表数据。导入的数据可生成 RFM模型，RFM模型可用于 RFM分析、人群筛选 等。前提条件 已在您配置的 计算源 中存储订单汇总表，数据格式请参考 订单汇总表数据要求。确保您的订单汇总表中的所有用户ID...
订单明细
数据表可以选择表，也可以选择视图。若您选择的是表，则系统会自动识别该表是否包含时间分区。若表包含时间分区，请选择时间分区字段，并输入分区值的格式，支持的格式如下图所示。并且，请选择希望的更新方式：增量更新：每次更新前保存...
库表结构优化
要做好库表结构设计和优化，用户通常需要关注以下信息：数据库引擎架构 用户需要了解数据库引擎的存储和计算架构特点，才能结合业务的数据分布特征与业务场景特征，进行数据建模，从而设计出符合引擎架构特点的数据表结构。SQL特征差异 ...
同步方案概览
重要 如果不支持库表结构同步，在配置数据同步任务之前，您需要根据源库中待同步对象的结构定义，在目标库中创建数据库、数据表。全量数据同步 DTS将源库中待同步对象的存量数据，全部同步到目标库中，作为后续增量同步数据的基线数据。为...
宜搭创建大屏实操
客户库表数据配置大屏组件 本节使用客户库表数据配置的大屏组件包括：数字翻牌器、轮播饼图 和 基础平面地图 组件。配置数字翻牌器组件 配置数字翻牌器组件的操作步骤如下：打开创建完成的 企业经营数据 大屏，单击右上角 编辑大屏，进入...
数据同步方案概览
重要 如果不支持库表结构同步，在配置数据同步任务之前，您需要根据源库中待同步对象的结构定义，在目标库中创建数据库、数据表。全量数据同步 DTS将源库中待同步对象的存量数据，全部同步到目标库中，作为后续增量同步数据的基线数据。为...
数据质量概述
EMR、Hologres、analyticDB for PostgreSQL、CDH配置表数据质量规则后，产出表数据的调度节点需要使用网络已经连通的独享调度资源组执行才可以正常触发数据质量规则校验。一个表可以配置多个数据质量规则。使用场景 在离线数据校验场景下，...
配置离线数据集成节点
源表配置 数据过滤 填写WHERE过滤语句。支持使用变量。推荐分片字段 默认取值为 自动。最大并发数量 选择最大并发数量，默认取值为4。说明 DMS 限制单个租户的并发Spark任务数量，超过4后，任务将会排队执行。目标表配置 导入数据前置行为 ...
创建数据表质量规则
本文为您介绍如何配置数据表的质量规则。前提条件 已经添加监控对象才可配置质量规则，如何添加监控对象，请参见 添加监控对象。权限说明 超级管理员、质量管理员支持为质量规则配置调度、告警、异常归档表、打分权重等。质量负责人支持在...
创建数据表质量规则
本文为您介绍如何配置数据表的质量规则。前提条件 已经添加监控对象才可配置质量规则，如何添加监控对象，请参见 添加监控对象。权限说明 超级管理员、质量管理员支持为质量规则配置调度、告警、异常归档表、打分权重等。质量负责人支持在...
数据质量入门
本文示例配置表数据质量监控规则，保障产出的表数据符合预期，为您介绍数据质量的基本使用。前提条件 根据 数据开发：开发者 文档创建 result_table 节点，及节点产出的 result_table 表。说明 本文均以 result_table 表来演示数据质量的...
Quick BI
数据源表结构发生变化后，如何同步更新数据集 处理方法：在数据集编辑页面，单击右上角 同步表结构。如何配置关联模型 处理方法：配置关联模型类似SQL语句里的JOIN，您可以在数据集的编辑页面里配置关联模型。请参见 构建模型。不支持添加...
添加及管理监控对象
使用说明 仅Dataphin数据表和全域数据表支持配置质量分权重。说明 监控对象的质量分权重，用于统计项目、数据源、个人等视角的质量分。从不同视角查看Dataphin数据表质量规则 Dataphin支持从 全局、项目、个人 三个视角查看Dataphin数据表...
添加及管理监控对象
使用说明 仅Dataphin数据表和全域数据表支持配置质量分权重。说明 监控对象的质量分权重，用于统计项目、数据源、个人等视角的质量分。从不同视角查看Dataphin数据表质量规则 Dataphin支持从 全局、项目、个人 三个视角查看Dataphin数据表...
读数据表
本文介绍读数据表算子的使用方法。用途 读数据表 算子用于从数据源中读取数据，作为下游节点输入数据的来源。适用场景 计算链路 计算引擎 是否支持 离线 MaxCompute 是 Hive 是 HiveStorage 是 RDS/MySQL 是 使用说明 选择计算资源 选择...
数据探查全局配置
数据探查配置可开启自动探查的数据表范围，管控数据探查记录、并发运行任务数、任务探查时间及配置set参数，从而更合理的运用资源。本文为您介绍如何进行数据探查的全局配置。前提条件 需开通数据质量功能模块才可使用数据探查功能。权限 ...
数据探查全局配置
数据探查配置可开启自动探查的数据表范围，管控数据探查记录、并发运行任务数、任务探查时间及配置set参数，从而更合理的运用资源。本文为您介绍如何进行数据探查的全局配置。前提条件 需开通数据质量功能模块才可使用数据探查功能。使用...
基本概念
基本概念 说明 Dataphin数据源 配置数据表生成Dataphin数据源。服务单元 对数据表进行统一的元数据配置。应用 消费数据服务（调用API或Dataphin数据源）的权限主体。分组 将数据服务和应用根据特定功能或场景进行分类管理。API服务 集中为...
RDS MySQL同步至AnalyticDB MySQL 3.0
说明 若选中了 全量同步，则执行了CREATE TABLE语句的待同步表（表结构和表数据）支持同步至目标库。目标已存在表的处理模式 预检查并报错拦截：检查目标数据库中是否有同名的表。如果目标数据库中没有同名的表，则通过该检查项目；如果...
数据管理DMS逻辑库同步至云原生数据仓库 AnalyticDB ...
说明 若选中了 全量同步，则执行了CREATE TABLE语句的待同步表（表结构和表数据）支持同步至目标库。目标已存在表的处理模式 预检查并报错拦截：检查目标数据库中是否有同名的表。如果目标数据库中没有同名的表，则通过该检查项目；如果...
自建MySQL同步至RDS MySQL
DTS默认仅实时同步增量数据，您也可以选择同时进行库表结构同步和全量同步，平滑地完成自建MySQL同步上云。前提条件 自建MySQL数据库版本为5.1、5.5、5.6、5.7或8.0版本。说明 若您的MySQL数据库部署在其他云平台上，请使用相应的迁移方案...
新建元表
步骤四：配置元表属性 完成元表创建后，单击右侧 属性 按钮，可以配置元表 基本信息、元表参数、引用信息 和修改 调试测试 数据表。配置项 参数 描述 基本信息 元表名称 默认为所创建的元表名称，不支持修改。数据源 默认为所创建的数据源...
新建元表
步骤四：配置元表属性 完成元表创建后，单击右侧 属性 按钮，可以配置元表 基本信息、元表参数、引用信息 和修改 调试测试 数据表。配置项 参数 描述 基本信息 元表名称 默认为所创建的元表名称，不支持修改。数据源 默认为所创建的数据源...
PolarDB-X 1.0同步至DataHub
费用说明 同步类型 链路配置费用 库表结构同步和全量数据同步 不收费。增量数据同步 收费，详情请参见 计费概述。支持的同步架构 一对一单向同步 一对多单向同步 级联单向同步 多对一单向同步 关于各类同步架构的介绍及注意事项，请参见 ...
PolarDB-X 2.0同步至云原生数据仓库 AnalyticDB MySQL...
说明 若选中了 全量同步，则执行了CREATE TABLE语句的待同步表（表结构和表数据）支持同步至目标库。目标已存在表的处理模式 预检查并报错拦截：检查目标数据库中是否有同名的表。如果目标数据库中没有同名的表，则通过该检查项目；如果...
PolarDB MySQL版同步至AnalyticDB MySQL 3.0
说明 若选中了 全量同步，则执行了CREATE TABLE语句的待同步表（表结构和表数据）支持同步至目标库。目标已存在表的处理模式 预检查并报错拦截：检查目标数据库中是否有同名的表。如果目标数据库中没有同名的表，则通过该检查项目；如果...
自建Oracle同步至云原生数据仓库AnalyticDB ...
警告 选择为 忽略报错并继续执行，可能导致数据不一致，给业务带来风险，例如：表结构一致的情况下，如在目标库遇到与源库主键或唯一键的值相同的记录：全量期间，DTS会保留目标集群中的该条记录，即源库中的该条记录不会同步至目标数据库...
从RDS同步至MaxCompute
说明 关于增量日志表结构的详细信息，请参见 增量日志表结构定义说明。操作步骤 警告 为保障DTS同步账号能够授权成功，请使用主账号完成下述操作步骤。购买数据同步作业，详情请参见 购买流程。说明 购买时，选择源实例为 MySQL，目标实例...
MySQL实例间的双向同步
警告 选择为 忽略报错并继续执行，可能导致数据不一致，给业务带来风险，例如：表结构一致的情况下，如在目标库遇到与源库主键或唯一键的值相同的记录：全量期间，DTS会保留目标集群中的该条记录，即源库中的该条记录不会同步至目标数据库...
PolarDB-X间的数据实时同步
准备工作 由于 PolarDB-X 间的数据同步不支持 结构初始化，所以您需要根据源 PolarDB-X 中待同步对象的数据结构，在目标 PolarDB-X 中创建相应的数据库和数据表，详情请参见 创建数据库 和 SQL基本操作。说明 结构初始化：将源库中待同步...
MySQL实例间的双向同步
警告 选择为 忽略报错并继续执行，可能导致数据不一致，给业务带来风险，例如：表结构一致的情况下，如在目标库遇到与源库主键或唯一键的值相同的记录：全量期间，DTS会保留目标集群中的该条记录，即源库中的该条记录不会同步至目标数据库...
通过DTS导入数据
否则您需要在 配置任务对象高级配置 步骤中勾选 库表结构同步，并在 配置库表字段 把该表配置为unique模型，同时需要您手动配置主键列。Binlog日志：RDS MySQL默认已开启Binlog，您需确保binlog_row_image的值为full，否则预检查阶段提示报...
RDS MySQL实例间的同步
警告 选择为 忽略报错并继续执行，可能导致数据不一致，给业务带来风险，例如：表结构一致的情况下，如在目标库遇到与源库主键或唯一键的值相同的记录：全量期间，DTS会保留目标集群中的该条记录，即源库中的该条记录不会同步至目标数据库...
专线、VPN网关或智能网关接入的自建MySQL同步至RDS ...
TRUNCATE TABLE 数据库账号的权限要求 数据库 库表结构同步 全量同步 增量同步 自建MySQL数据库 SELECT权限 SELECT权限 待同步对象的SELECT权限 REPLICATION CLIENT、REPLICATION SLAVE、SHOW VIEW 建库建表的权限，以允许DTS创建库dts，...
PolarDB MySQL版间的同步
注意事项 说明 在库表结构同步过程中，DTS会将源数据库中的外键同步到目标数据库。在全量同步和增量同步过程中，DTS会以Session级别暂时禁用约束检查以及外键级联操作。若任务运行时源库存在级联更新、删除操作，可能会导致数据不一致。...
- 产品推荐
- 这些文档可能帮助您