实时同步常见问题
写端延迟大 目标数据库性能、负载等问题 当数据库负载较高时，单一的调整同步任务并发并不能解决问题，您需要联系数据库管理员寻求相关帮助。读写端延迟大 使用公网同步，网络问题导致同步任务延迟。公网同步无法保障实时同步时效性，建议...
创建并配置发布环境
目标数据源名称 选择原数据源需要映射的目标数据源。忽略映射 开启后，任务发布时，系统将忽略该数据源，不会将其映射至目标工作空间。配置参数映射。用于为原工作空间映射的目标工作空间进行参数配置。配置后，在发布任务时，系统会将此处...
MySQL分库分表同步至Hologres（方案1.0）
步骤二：配置网络连通 源端选择已创建的数据源 doc_mysql1，目标数据源为DataWorks工作空间引擎绑定的默认Hologres数据源。并测试连通性。步骤三：设置同步来源与规则 在 基本配置 区域，配置同步解决方案的名称、任务存放位置等信息。在 ...
MySQL分库分表同步至Hologres（方案2.0）
步骤二：网络与资源配置 源端选择环境准备步骤中已创建的数据源 doc_mysql1，目标数据源为DataWorks工作空间引擎绑定的默认Hologres数据源。并测试连通性。说明 您需要根据业务需要定义读取源端数据库所使用的编码格式，及同步任务区源端...
数据治理中心概述
数据治理中心可自动发现平台使用过程中数据存储、任务计算、代码开发、数据质量及安全等维度存在的问题，并通过健康分量化评估，从全局、工作空间、个人等多个视角，以治理报告及排行榜呈现治理成果，帮助您高效达成治理目标。同时，提供...
新功能发布记录
概述 名词解释 访问数据分析功能 管理数据集 仪表盘 08月 功能名称 变更类型 功能描述 相关文档 极简模式 新增 极简模式的控制台界面简洁、易上手、操作空间大，可以随时查找目标数据库实例，无需反复切换到控制台首页标签页。极简模式控制...
实例化解决方案
实例化是指将解决方案包中的数据写入到当前工作组对应模块中，以便当前工作组复用解决方案包中的数据。本文介绍如何实例化解决方案。前提条件 已成功导入解决方案，具体操作，请参见 导入解决方案。操作步骤 登录 数据资源平台控制台。在...
元数据采集
明细列表 您还可以单击目标数据源类型或目标工作空间右上角的 管理 按钮，进入采集明细页面，查看相应采集器的运行 状态、执行计划、上次运行时间、上次消耗时间、平均运行耗时 及上次运行时更新及添加的表数量。管理元数据采集器 单击目标...
MySQL整库离线同步到OSS
本文示例以MySQL为源端，OSS为目标端，为您介绍如何将MySQL整个数据库的数据离线同步到OSS。使用限制 仅支持使用独享数据集成资源组。操作步骤 步骤一：创建同步任务。步骤二：配置同步任务。步骤三：运行并查看任务状态。前提条件 已购买...
RDS MySQL迁移至自建Oracle
由于全量数据迁移会并发执行INSERT操作，导致目标数据库的表产生碎片，因此全量迁移完成后目标数据库的表存储空间会大于源实例的表存储空间。DTS会尝试恢复七天之内迁移失败实例的任务。因此在业务切换至目标实例前，请务必结束或释放该...
从自建TiDB全量迁移至RDS MySQL
如果源库中待迁移的表没有主键或唯一约束，且所有字段没有唯一性，可能会导致目标数据库中出现重复数据。对于数据类型为FLOAT或DOUBLE的列，DTS会通过 ROUND(COLUMN,PRECISION)来读取该列的值。如果没有明确定义其精度，DTS对FLOAT的迁移...
管理数据源权限
分享至目标数据源后，仅保留一个数据源，且最新分享的数据源会覆盖之前的数据源。如果目标工作空间升级为标准模式工作空间，则该数据源会变为两个，分别对应开发和生产环境，且内容一致，均与源数据源保持分享关系。查看分享的数据源 单击...
ETL工作流快速体验
GitHub十大热门编程语言 DataWorks MaxCompute 函数计算 OSS 数据集成 数据开发 基础版 基于GitHub Archive公开数据集，通过DataWorks 数据集成 模块获取过去1小时GitHub中提交次数最多的代码语言数据，在DataStudio 数据开发 模块通过函数...
数据库管理
编辑数据库 单击目标数据库右侧的 编辑，调整数据库的 字符集 或 校验规则。删除数据库 单击目标数据库右侧的 删除，再次单击 确认。说明 若实例的管控模式为安全协同，您需要先配置“允许执行DROP DATABASE命令”的安全规则，更多信息，请...
数据库克隆
数据管理DMS的数据库克隆功能支持将源数据库的表结构和表数据复制至目标数据库中，实现全部表或部分表备份，适用多环境数据库初始化，例如将开发环境复制到测试环境。前提条件 源数据库与目标数据库类型相同，且都为MySQL。数据库实例的...
数据上传
上传目标数据 DataWorks支持将本地文件数据、数据分析的电子表格数据、对象存储OSS数据上传至MaxCompute、EMR Hive或Hologres引擎，不同数据的上传配置存在差异，具体如下。上传本地文件数据 选择待上传数据。数据来源：选择 本地文件。...
配置AnalyticDB for MySQL 3.0输出组件
同步其他数据源的数据至AnalyticDB for MySQL 3.0数据源的场景中，完成源数据源的信息配置后，需要配置AnalyticDB for MySQL 3.0输出组件的目标数据源。本文为您介绍如何配置AnalyticDB for MySQL 3.0输出组件。前提条件 已创建AnalyticDB ...
配置MaxCompute输出组件
同步其他数据源的数据至MaxCompute数据源的场景中，完成源数据源的信息配置后，需要配置MaxCompute输出组件写入数据到目标数据源。本文为您介绍如何配置MaxCompute输出组件。操作步骤 请参见 离线管道组件开发入口，进入离线单条管道脚本的...
配置MaxCompute输出组件
同步其他数据源的数据至MaxCompute数据源的场景中，完成源数据源的信息配置后，需要配置MaxCompute输出组件写入数据到目标数据源。本文为您介绍如何配置MaxCompute输出组件。操作步骤 请参见 离线管道组件开发入口，进入离线单条管道脚本的...
配置AnalyticDB for MySQL 3.0输出组件
同步其他数据源的数据至AnalyticDB for MySQL 3.0数据源的场景中，完成源数据源的信息配置后，需要配置AnalyticDB for MySQL 3.0输出组件的目标数据源。本文为您介绍如何配置AnalyticDB for MySQL 3.0输出组件。前提条件 已创建AnalyticDB ...
概述
解决方案 T+1全量同步一键建仓是指通过DLA控制台配置数据源（RDS、PolarDB for MySQL、MongoDB数据源、ECS自建数据库数据）和目标OSS数据仓库，系统按照您设定的数据同步时间自动、无缝的帮您把数据源中的数据同步到目标数据仓库OSS中，...
USE
如果您当前使用的数据库并非目标数据库，可以通过USE语句切换数据库对象。切换后所有的SQL操作都将在目标数据库中执行。引擎与版本 USE语法适用于宽表引擎和时序引擎。无版本限制。语法 use_statement:=USE { database_identifier|DEFAULT ...
数据源和项目协同
编辑数据源 单击目标数据源 操作 项下的 编辑 按钮弹出 编辑数据源 面板，面板与 新建数据源 面板的结构相同并显示当前数据源的配置信息。可在 编辑数据源 面板中直接对显示的信息进行修改。修改 数据库密码 时，需先单击密码框后的 修改...
配置Hive输出组件
同步其他数据源的数据至Hive数据源的场景中，完成源数据源的信息配置后，需要配置Hive输出组件写入数据的目标数据源。本文为您介绍如何配置Hive输出组件。使用限制 Hive输出组件支持写入文件格式为 orc、parquet、text、iceberg（iceberg...
智能压测
说明 如果您想分析压测前后，源数据库实例与目标数据库实例上SQL模板的执行性能差异，目标数据库实例也需要开启DAS 企业版。SQL模板的执行性能差异可用来应对数据库引擎升级、规格切换等业务场景。不支持政务云和金融云下的数据库实例。...
写数据表
计算资源类型 选择需要同步到的目标数据源的类型，目前支持的目标数据源类型参见 适用场景 目标数据源 选择同步到的目标数据源。目标数据表 选择同步到的目标数据源中的表名。生命周期（可选）设置目标表的留存天数，如未设置，默认将保留1...
数据源资产详情
数据源详情 请参见 搜索数据，进入目标数据源的详情页面。编号 描述 ① 概要信息 为您展示数据源的名称、描述。同时，您还可以执行如下操作：收藏：单击即可收藏。收藏后您可以在 目录 首页查看收藏的列表，方便后续查询。申请权限：提供...
数据源资产详情
数据源详情 请参见 搜索数据，进入目标数据源的详情页面。编号 描述 ① 概要信息 为您展示数据源的名称、描述。同时，您还可以执行如下操作：收藏：单击即可收藏。收藏后您可以在 目录 首页查看收藏的列表，方便后续查询。申请权限：提供...
配置MySQL输出组件
同步其他数据源的数据至MySQL数据源的场景中，完成源数据源的信息配置后，需要配置MySQL输出组件的目标数据源。本文为您介绍如何配置MySQL输出组件。前提条件 已创建MySQL数据源，详情请参见 创建MySQL数据源。进行FTP输出组件属性配置的...
配置MySQL输出组件
同步其他数据源的数据至MySQL数据源的场景中，完成源数据源的信息配置后，需要配置MySQL输出组件的目标数据源。本文为您介绍如何配置MySQL输出组件。前提条件 已创建MySQL数据源，详情请参见 创建MySQL数据源。进行FTP输出组件属性配置的...
配置TiDB输出组件
同步其他数据源的数据至TiDB数据源的场景中，完成源数据源的信息配置后，需要配置TiDB输出组件写入数据的目标数据源。本文为您介绍如何配置TiDB输出组件。前提条件 已创建TiDB数据源，如何创建，请参见 创建TiDB数据源。进行TiDB输出组件...
配置AnalyticDB for PostgreSQL输出组件
同步其他数据源的数据至AnalyticDB for PostgreSQL数据源的场景中，完成源数据的信息配置后，需要配置AnalyticDB for PostgreSQL输出组件的目标数据源。本文为您介绍如何配置AnalyticDB for PostgreSQL输出组件。操作步骤 请参见 离线管道...
配置TiDB输出组件
同步其他数据源的数据至TiDB数据源的场景中，完成源数据源的信息配置后，需要配置TiDB输出组件写入数据的目标数据源。本文为您介绍如何配置TiDB输出组件。前提条件 已创建TiDB数据源，如何创建，请参见 创建TiDB数据源。进行TiDB输出组件...
配置OpenGauss输出组件
同步其他数据源的数据至OpenGauss数据源的场景中，完成源数据源的信息配置后，需要配置OpenGauss输出组件写入数据的目标数据源。本文为您介绍如何配置OpenGauss输出组件。前提条件 已创建OpenGauss数据源，如何创建，请参见 创建OpenGauss...
配置OpenGauss输出组件
同步其他数据源的数据至OpenGauss数据源的场景中，完成源数据源的信息配置后，需要配置OpenGauss输出组件写入数据的目标数据源。本文为您介绍如何配置OpenGauss输出组件。前提条件 已创建OpenGauss数据源，如何创建，请参见 创建OpenGauss...
配置TDH Inceptor输出组件
同步其他数据源的数据至TDH Inceptor数据源的场景中，完成源数据源的信息配置后，需要配置TDH Inceptor输出组件写入数据的目标数据源。本文为您介绍如何配置TDH Inceptor输出组件。使用限制 TDH Inceptor输出组件支持写入文件格式为orc、...
导出至MaxCompute
前提条件 根据MaxCompute 准备工作 和 快速入门 准备目标数据表。例如通过 表操作 语句，在MaxCompute中创建以下表。如果您已经有目标数据表，请跳过该步骤。说明 导出数据到MaxCompute分区表时，需要明确指定待写入的分区，不支持同时导出...
自建PostgreSQL迁移至RDS PostgreSQL
由于全量数据迁移会并发执行INSERT操作，导致目标数据库的表产生碎片，因此全量迁移完成后目标库的表存储空间会比源库的表存储空间大。请确认DTS对数据类型为FLOAT或DOUBLE的列的迁移精度是否符合业务预期。DTS会通过 ROUND(COLUMN,...
配置AnalyticDB for PostgreSQL输出组件
同步其他数据源的数据至AnalyticDB for PostgreSQL数据源的场景中，完成源数据的信息配置后，需要配置AnalyticDB for PostgreSQL输出组件的目标数据源。本文为您介绍如何配置AnalyticDB for PostgreSQL输出组件。操作步骤 请参见 通过离线...
使用执行计划分析查询
诊断结果 单击执行计划树中某个Stage（如 Stage[1]），即可在右侧查看对应Stage的 诊断结果 详情，包括如下两类诊断：Stage诊断：这类诊断结果包含了对目标Stage诊断结果的详细说明，包括诊断出的问题（如存在较大的数据量被广播或数据倾斜...
- 产品推荐
- 这些文档可能帮助您