迁移时源库为Oracle的注意事项及限制
如果迁移的源数据库类型为自建Oracle，您需要在配置具体的迁移任务前，参考本文的注意事项及限制，以保障数据迁移任务的正常运行。源库为Oracle的迁移方案概览 根据如下迁移方案，查看迁移任务的注意事项及限制：自建Oracle迁移至PolarDB ...
迁移方案概览
源为TiDB的迁移方案 源为Db2 for LUW的迁移方案 源为Db2 for i（AS/400）的迁移方案 源为Teradata的迁移方案 源为自建HBase的迁移方案 源为第三方云的迁移方案 跨阿里云账号实例间迁移 说明 下表中各类自建数据库（例如自建MySQL、SQL ...
PolarDB-X 2.0迁移至DataHub
如果源或目标数据库是ECS上的自建数据库，DTS会自动将对应地区DTS服务的IP地址添到ECS的安全规则中，您还需确保自建数据库没有限制ECS的访问（若数据库是集群部署在多个ECS实例，您需要手动将DTS服务对应地区的IP地址添到其余每个ECS的安全...
同步时源库为MongoDB的注意事项及限制
如果同步的源数据库类型为MongoDB，如自建MongoDB、云数据库MongoDB，您需要在配置具体的同步任务前，参考本文的注意事项及限制，以保障数据同步任务的正常运行。源库为MongoDB的同步方案概览 根据如下同步方案，查看同步任务的注意事项及...
使用DataWorks
当您需要将MaxCompute中的数据导出至其他数据源执行后续数据处理操作时，您可以使用数据集成功能导出数据。本文为您介绍如何将MaxCompute的数据导出至其他数据源。背景信息 数据集成的导出方式有如下两种：向导模式：创建离线同步节点后，...
PolarDB-X 1.0迁移至阿里云消息队列Kafka
由于全量数据迁移会并发执行INSERT操作，导致目标数据库的表产生碎片，因此全量迁移完成后目标数据库的表存储空间会比源实例的表存储空间大。DTS会尝试恢复七天之内迁移失败任务。因此业务切换至目标实例前，请务必结束或释放该任务，或者...
PolarDB-X 1.0迁移至DataHub
如果源或目标数据库是ECS上的自建数据库，DTS会自动将对应地区DTS服务的IP地址添到ECS的安全规则中，您还需确保自建数据库没有限制ECS的访问（若数据库是集群部署在多个ECS实例，您需要手动将DTS服务对应地区的IP地址添到其余每个ECS的安全...
创建Salesforce数据源
说明 通常情况下，生产数据源和开发数据源需配置非同一个数据源，以使开发数据源与生产数据源的环境隔离，降低开发数据源对生产数据源的影响。但Dataphin也支持配置成同一个数据源，即相同参数值。参数 描述 实例URL 访问Salesforce实例的...
创建Salesforce数据源
说明 通常情况下，生产数据源和开发数据源需配置非同一个数据源，以使开发数据源与生产数据源的环境隔离，降低开发数据源对生产数据源的影响。但Dataphin也支持配置成同一个数据源，即相同参数值。参数 描述 实例URL 访问Salesforce实例的...
PolarDB-X 1.0迁移至Elasticsearch
其他限制 如果源库中待迁移的表需要执行增加列的操作，您只需先在 Elasticsearch 实例中修改对应表的mapping，然后在源数据库中执行相应的DDL操作，最后暂停并启动迁移任务。执行数据迁移前需评估源库和目标库的性能，同时建议业务低峰期...
创建RocketMQ数据源
说明 通常情况下，生产数据源和开发数据源需配置非同一个数据源，以使开发数据源与生产数据源的环境隔离，降低开发数据源对生产数据源的影响。但Dataphin也支持配置成同一个数据源，即相同参数值。参数 描述 Endpoint RocketMQ实例的...
创建Tablestore数据源
说明 通常情况下，生产数据源和开发数据源需配置非同一个数据源，以使开发数据源与生产数据源的环境隔离，降低开发数据源对生产数据源的影响。但Dataphin也支持配置成同一个数据源，即相同参数值。参数 描述 Endpoint 即实例访问地址。推荐...
创建Elasticsearch数据源
说明 通常情况下，生产数据源和开发数据源需配置非同一个数据源，以使开发数据源与生产数据源的环境隔离，降低开发数据源对生产数据源的影响。但Dataphin也支持配置成同一个数据源，即相同参数值。参数 描述 ES URL Elasticsearch的连接...
PolarDB-X 2.0迁移至MaxCompute
如果源或目标数据库是ECS上的自建数据库，DTS会自动将对应地区DTS服务的IP地址添到ECS的安全规则中，您还需确保自建数据库没有限制ECS的访问（若数据库是集群部署在多个ECS实例，您需要手动将DTS服务对应地区的IP地址添到其余每个ECS的安全...
创建DataHub数据源
说明 通常情况下，生产数据源和开发数据源需配置非同一个数据源，以使开发数据源与生产数据源的环境隔离，降低开发数据源对生产数据源的影响。但Dataphin也支持配置成同一个数据源，即相同参数值。参数 描述 Endpoint DataHub的Endpoint，...
创建Log Service数据源
说明 通常情况下，生产数据源和开发数据源需配置非同一个数据源，以使开发数据源与生产数据源的环境隔离，降低开发数据源对生产数据源的影响。但Dataphin也支持配置成同一个数据源，即相同参数值。参数 描述 LogHub Endpoint Log Service的...
创建Sap Table数据源
说明 通常情况下，生产数据源和开发数据源需配置非同一个数据源，以使开发数据源与生产数据源的环境隔离，降低开发数据源对生产数据源的影响。但Dataphin也支持配置成同一个数据源，即相同参数值。参数 描述 HOST SAP实例所在的服务器的...
创建Sap Table数据源
说明 通常情况下，生产数据源和开发数据源需配置非同一个数据源，以使开发数据源与生产数据源的环境隔离，降低开发数据源对生产数据源的影响。但Dataphin也支持配置成同一个数据源，即相同参数值。参数 描述 HOST SAP实例所在的服务器的...
创建Tablestore数据源
说明 通常情况下，生产数据源和开发数据源需配置非同一个数据源，以使开发数据源与生产数据源的环境隔离，降低开发数据源对生产数据源的影响。但Dataphin也支持配置成同一个数据源，即相同参数值。参数 描述 Endpoint 即实例访问地址。推荐...
SQL Server迁移上云指南
上云方案简介 上云方案 实现流程 操作步骤 物理备份上云 使用OSS（手动上云）将数据库日志恢复模式（backup_type）修改为FULL。将全量数据进行备份，并上传到OSS Bucket（存储空间）。定时备份和上传增量日志。停止源库的数据写入，最后...
创建OSS数据源
说明 通常情况下，生产数据源和开发数据源需配置非同一个数据源，以使开发数据源与生产数据源的环境隔离，降低开发数据源对生产数据源的影响。但Dataphin也支持配置成同一个数据源，即相同参数值。参数 描述 Endpoint OSS所在地域对应的...
创建Log Service数据源
说明 通常情况下，生产数据源和开发数据源需配置非同一个数据源，以使开发数据源与生产数据源的环境隔离，降低开发数据源对生产数据源的影响。但Dataphin也支持配置成同一个数据源，即相同参数值。参数 描述 LogHub Endpoint Log Service的...
创建OSS数据源
说明 通常情况下，生产数据源和开发数据源需配置非同一个数据源，以使开发数据源与生产数据源的环境隔离，降低开发数据源对生产数据源的影响。但Dataphin也支持配置成同一个数据源，即相同参数值。参数 描述 Endpoint OSS所在地域对应的...
开发流程
逻辑流操作指在逻辑流中执行的具体行为节点，魔笔支持自定义编写、构建并导入逻辑流操作。配合使用魔笔提供的脚手架，您可以快速添加满足实际开发需求的自定义逻辑流操作。开发流程简介 自定义逻辑流操作开发流程如下所示：步骤一、创建...
创建HBase数据源
说明 通常情况下，生产数据源和开发数据源需配置非同一个数据源，以使开发数据源与生产数据源的环境隔离，降低开发数据源对生产数据源的影响。但Dataphin也支持配置成同一个数据源，即相同参数值。参数 描述 连接地址 连接地址的格式为 hb-...
流水线源 sources
流水线源sources：Flow 目前支持配置代码源、Jenkins源、Flow流水线源三种类型的流水线源，并且支持配置多个源。代码源：支持配置 Codeup、github、gitlab、gitee 等常见代码源。Jenkins源：支持配置外部 Jenkins 服务触发流水线运行。Flow...
手动添加DBS IP地址至数据库白名单
使用数据库备份DBS时，如果数据源为 有公网IP:Port的自建数据库，您需要手动将DBS IP地址添加到自建数据库的安全设置（通常为防火墙）中，才能成功添加数据源或备份数据库。使用说明 分类 说明 系统自动添加 当源或目标数据库是阿里云数据...
管理数仓规划待发布对象
数据源对象信息：包括数据源名称、数据源类型、发布状态/完成时间、负责人、数据源格式、变更类型、环境变更（从上一次导入后，当前目标环境是否有过变更）、同名同类型（当前环境中是否包含与来源环境同名同类型的数据源，且仅包含新增...
管理数仓规划待发布对象
数据源对象信息：包括数据源名称、数据源类型、发布状态/完成时间、负责人、数据源格式、变更类型、环境变更（从上一次导入后，当前目标环境是否有过变更）、同名同类型（当前环境中是否包含与来源环境同名同类型的数据源，且仅包含新增...
执行在线评估
评估类型 描述 参数 操作 对象评估 采集源端数据库中所有的对象（包括 TABLE、INDEX、VIEW、SEQUENCE、SYNONYM、FUNCTION、PROCEDURE、PACKAGE、TRIGGER、PACKAGE BODY、TYPE、TYPE BODY、DB LINK、MATERIALIZED VIEW 和 EVENT），并对其...
Kafka数据源
操作步骤 进入LTS页面，在左侧导航栏选择 数据源管理>添加数据源。在 添加数据源 页面设置相关参数。参数 说明 名称 自定义，支持字母与数字。数据源类型 选择 KAFKA 数据源参数 {bootstrap.servers:"server1:port1,server2:port2"} ...
场景：跨账号创建数据源
注意事项 跨账号创建的数据源不能...后续步骤 数据源创建后，您可执行如下操作：基于该数据源进行数据集成同步操作。详情请参见 数据集成概述。进入运维中心、数据地图，查看数据源的更多详细信息。详情请参见 运维中心概述、数据地图概述。
自建SQL Server同步至云原生数据仓库 AnalyticDB ...
如果源或目标数据库是ECS上的自建数据库，DTS会自动将对应地区DTS服务的IP地址添到ECS的安全规则中，您还需确保自建数据库没有限制ECS的访问（若数据库是集群部署在多个ECS实例，您需要手动将DTS服务对应地区的IP地址添到其余每个ECS的安全...
自建SQL Server同步至PolarDB MySQL版
如果源或目标数据库是ECS上的自建数据库，DTS会自动将对应地区DTS服务的IP地址添到ECS的安全规则中，您还需确保自建数据库没有限制ECS的访问（若数据库是集群部署在多个ECS实例，您需要手动将DTS服务对应地区的IP地址添到其余每个ECS的安全...
自建Oracle同步至PolarDB MySQL版
建议在执行数据同步前了解源库为Oracle时DTS支持的能力和限制条件，并使用ADAM（Advanced Database&Application Migration）进行数据库评估，以便您平滑地同步上云。更多信息，请参见 Oracle数据库的限制和准备工作 和 数据库评估概览。...
数据归档至PolarDB MySQL版
前提条件 源数据库为：MySQL类型：RDS MySQL、PolarDB MySQL版、AnalyticDB MySQL 3.0。PostgreSQL类型：RDS PostgreSQL、PolarDB PostgreSQL版。PolarDB分布式版。说明 物理库和逻辑库均支持。物理库：具体的某个数据库。逻辑库：由单个或...
RDS MariaDB迁移至RDS MySQL
数据传输服务DTS（Data Transmission Service）支持将MariaDB的数据迁移至 RDS MySQL 实例，本文以 RDS MariaDB 为源数据库为您介绍迁移操作的步骤。前提条件 已创建存储空间大于 RDS MariaDB 的目标 RDS MySQL 实例。创建方式，请参见 ...
RDS SQL Server同步至DataHub
注意事项 说明 DTS不会将源数据库中的外键同步到目标数据库，因此源数据库的级联、删除等操作不会同步到目标数据库。类型 说明 源库限制 待同步的表需具备主键或唯一约束，且字段具有唯一性，否则可能会导致目标数据库中出现重复数据。若...
RDS MariaDB同步至RDS MySQL
数据传输服务DTS（Data Transmission Service）支持将MariaDB的数据同步至 RDS MySQL 实例，本文以 RDS MariaDB 为源数据库为您介绍同步操作的步骤。前提条件 已创建存储空间大于 RDS MariaDB 的目标 RDS MySQL 实例。创建方式，请参见 ...
环境变量
COMMIT_ID 最后一次提交的代码版本的 8 位 commit ID（Git场景）最后一次提交的代码版本的 Revision（SVN场景）代码源（多个）CI_SOURCE_NAME_n 第n个代码源名称 CI_COMMIT_REF_NAME_n 第n个代码源的分支名或者 Tag 名（根据用户运行时选择...
- 产品推荐
- 这些文档可能帮助您