RDS MySQL同步至RDS PostgreSQL
如果源或目标数据库是ECS上的自建数据库，DTS会自动将对应地区DTS服务的IP地址添到ECS的安全规则中，您还需确保自建数据库没有限制ECS的访问（若数据库是集群部署在多个ECS实例，您需要手动将DTS服务对应地区的IP地址添到其余每个ECS的安全...
数据同步方案概览
云原生关系型数据库PolarDB 提供了多种数据同步方案，可满足不同的业务同步需求，使您可以在不影响业务的情况下平滑的实现引擎间的数据同步。通过使用阿里云 数据传输服务（DTS），您可以实现 PolarDB 的实时同步。数据同步 使用场景 文档...
RDS MySQL同步至阿里云消息队列Kafka版
注意事项 说明 DTS不会将源数据库中的外键同步到目标数据库，因此源数据库的级联、删除等操作不会同步到目标数据库。类型 说明 源库的环境要求 待同步的表需具备主键或唯一约束，且字段具有唯一性，否则可能会导致目标数据库中出现重复数据...
RDS MySQL同步至Elasticsearch
术语及概念对应关系 Elasticsearch 关系型数据库 索引（index）数据库（Database）文档类型（type）表（Table）文档（document）一行数据（Row）字段（field）一列数据（Column）映射（mapping）数据库的组织和结构（Schema）操作步骤 进入...
数据集成概述
Dataphin升级了数据集成的能力，旨在为您构建简单高效、安全可靠的数据同步平台：支持通过整库迁移（快速生成批量同步任务）和一键生成目标表（同步到MaxCompute的数据无需手动建表）的方式，提高数据集成的效率，详情请参见 通过整库迁移...
一键MaxCompute任务出错恢复
重新加载表：需要备份原来的表，然后通过编辑全增量同步任务，先减表再加表（使用已有表）的方式重新加载表，确保字段和源端数据兼容，执行加载表前用已有目标表的方式将任务恢复。Tunnel端问题导致写入MaxCompute报错 查看实时任务日志，...
RDS MySQL同步至阿里云消息队列Kafka版
全量初始化会并发执行INSERT操作，导致目标数据库的表产生碎片，因此全量初始化完成后目标实例的表空间比源实例的表空间大。如同步对象为单个或多个表（非整库），那么在数据同步时，勿对源库的同步对象使用pt-online-schema-change等类似...
MySQL数据源
} },"order":{"hops":[{"from":"Reader","to":"Writer"}]} } 配置分库分表 说明 分库分表是指在MySQL Reader端可以选择多个MySQL数据表，且表结构保持一致。此处的‘分库分表’是指多个MySQL写入同一个目标表，如想要支持整库级别配置分库...
全量数据同步
通过选择已注册的数据源端数据和目标端，实现全量任务自动建表的方式创建离线同步周期任务，本文介绍如何创建MySQL to MaxCompute离线全量数据同步一次性调度的任务。前提条件 已新建工作组，具体操作，请参见 新建工作组。已在工作组中...
概述
HoloStudio的数据开发模块与DataWorks无缝连接，提供一站式稳定高效的ETL（Extract-Transform-Load）服务，帮助您使用可视化方式周期性调度作业、创建外部表、同步外部表数据以及上传本地文件。数据开发 的核心功能如下：文件夹 用于存放并...
数据同步方案概览
从RDS MySQL同步至PolarDB MySQL 从RDS同步至通过专线、VPN网关或智能接入网关接入的自建MySQL MySQL数据同步至其他数据库 从RDS同步到云原生数据仓库AnalyticDB MySQL 从RDS MySQL同步至云原生数据仓库AnalyticDB PostgreSQL 从RDS MySQL...
数据集成概述
说明 以业务数据库数据同步到MaxCompute数据仓库为例，当有大量的数据存储在数据库系统里，需要将数据库中的全量及增量数据同步到MaxCompute进行数仓分析时，数据集成传统方式是通过全量同步或者依赖数据库表中的 modify_time 等字段进行...
同步任务的注意事项及限制
为保障数据同步任务的正常运行，DTS对不同的数据库存在使用上的限制。概览 根据同步任务的源库类型，查看其注意事项及限制：源库为MySQL的注意事项及限制 源库为PolarDB MySQL的注意事项及限制 源库为PolarDB-X 2.0的注意事项及限制 源库为...
ALTER DATABASE
如果想要修改时序数据库的指定属性，或为其添加新的数据库属性，您可以使用 ALTER DATABASE 语句。引擎与版本 ALTER DATABASE语法 仅适用于时序引擎。无版本限制。语法 alter_database_statement:=ALTER DATABASE database_identifier[WITH...
设置增量同步位点
设置增量同步位点时，仅支持选择当前时间或当前时间之前的时间点，并且不能晚于您设置的源端数据库增量日志的过期时间或归档时间。适用场景 您可以通过设置增量同步位点的方式实现以下场景：您在创建数据迁移或数据同步项目前，已确保源端...
PolarDB-X 2.0数据源
是 无 table 需要同步的表名称，一个数据集成任务只能同步数据到一张目标表。table 用于配置范围的高级用法示例如下：您可以通过配置区间读取分库分表，例如 table_[0-99]表示读取 table_0、table_1、table_2 直到 table_99。如果表名称的...
CREATE EXTERNAL DATABASE
AnalyticDB for MySQL 湖仓版（3.0）支持通过 CREATE EXTERNAL DATABASE...语法 CREATE EXTERNAL DATABASE[IF NOT EXISTS]<db_name>参数 db_name：外部数据库名。数据库名命名规则，请参见 命名约束。示例 CREATE EXTERNAL DATABASE adb_demo;
SQL命令管理数据库
删除数据库 执行如下命令，删除数据库：DROP DATABASE[TestDb]需注意，若您在删除数据库前没有对该数据库进行过任何备份，系统会返回如下提示信息：DROP DATABASE[TestDb]-Kindly reminder:your database[TestDb]does not exist any backup...
MariaDB数据源
是 无 table 选取的需要同步的表名称，一个数据集成任务只能同步数据到一张目标表。table 用于配置范围的高级用法示例如下：您可以通过配置区间读取分库分表，例如 'table_[0-99]' 表示读取 'table_0'、'table_1'、'table_2' 直到 'table_...
结束数据同步作业
如果不再需要数据同步，您可以结束数据同步作业，停止将源库的数据变更同步至目标库。前提条件 数据同步作业处于 同步中、已暂停、同步失败、同步初始化中 或 同步初始化失败 状态。注意事项 结束数据同步作业后，数据同步作业将处于 已...
查看数据同步项目的详情
平均执行时间、平均提交时间 重要 仅同步 OceanBase 数据库 MySQL 租户的数据至 AnalyticDB MySQL，以及同步 OceanBase 数据库的数据至 OceanBase 数据库时进行统计。平均执行时间：每条 SQL 执行时间的均值，单位为 ms。平均提交时间：...
从PolarDB-X同步至AnalyticDB for PostgreSQL
如果源或目标数据库是ECS上的自建数据库，DTS会自动将对应地区DTS服务的IP地址添到ECS的安全规则中，您还需确保自建数据库没有限制ECS的访问（若数据库是集群部署在多个ECS实例，您需要手动将DTS服务对应地区的IP地址添到其余每个ECS的安全...
数据集成：全领域数据汇聚
支持数据库、数仓、NoSQL数据库、文件存储、消息队列等近50多种不同异构数据源之间的数据同步。支持在各类复杂网络环境下，连通数据源的网络解决方案，无论数据源在公网、IDC还是VPC内，均可使用DataWorks数据集成实现网络连通。支持安全...
概述
目前支持MaxCompute（原ODPS）、分析型数据库MySQL(ADS)、云数据库RDS、表格存储TableStore、对象存储OSS、ElasticSearch以及函数计算服务等。用户只需向DataHub服务中写入一次数据，并且在DataHub服务中配置数据同步功能，便可以在所支持...
移除同步对象
注意事项 将同步对象移除后，同步作业将不再同步该对象的增量数据到目标数据库。操作步骤 登录 数据传输控制台。在左侧导航栏，单击 数据同步。在 同步作业列表 页面顶部，选择目标数据同步作业所属的地域。找到目标同步作业，单击其 操作 ...
单向同步升级至双向同步
DTS会在目标库中建立数据库 dts，以避免数据循环同步，您需要确保任务使用的目标端数据库账号具有数据库 dts 的读写权限。费用说明 包年包月实例 升级费用=（升级后实例每天的价格-升级前实例每天的价格）×升级当天到服务到期日的剩余天数...
同步时源库为PolarDB-X 2.0的注意事项及限制
源库为PolarDB-X的同步方案概览 根据如下同步方案，查看同步任务的注意事项及限制：说明 DTS默认同步到目标数据库中时会取消外键约束，因此源数据库的级联、删除等操作不会同步到如下目标数据库：MySQL（RDS MySQL、自建MySQL）PolarDB ...
重新配置数据同步作业
注意事项 执行该操作后，将造成下述影响，请谨慎操作：数据同步作业将停止同步数据，即不再将源库的增量数据变更和结构变更同步至目标库。数据同步作业的配置（含监控报警策略）信息将被清空，并转变为 未配置 状态。操作步骤 登录 数据...
功能特性
社区兼容版集群变配和水平扩缩容 垂直升降配 当您需要调整云数据库ClickHouse社区兼容版集群的配置或规模时，您可以对云数据库ClickHouse进行垂直升降配，以帮助您的业务在成本与性能之间达到最佳平衡。社区兼容版集群变配和水平扩缩容 ...
功能特性
创建同步Fc 同步OSS 同步Datahub中的数据至OSS指定的文件对象中 创建同步OSS 同步TableStore 同步Datahub中的数据至TableStore指定的具体表中 创建同步TableStore 同步数据库 同步Datahub中的数据至RDS/MySQL/ADS3.0指定的具体表中 创建...
新增同步对象
DTS支持在数据同步的过程中新增同步对象，无需重新配置同步任务，以在降低对业务影响的情况下变更同步对象。本文将介绍新增同步对象的操作流程。重要 本文为旧版控制台的操作流程，若您使用的是新版控制台，操作...预检查完成后开始同步数据。
数据库管理
参数 说明 数据库（DB）名称 以字母开头，以字母或数字结尾；由小写字母、数字、下划线或中划线组成；长度为2~64个字符。数据库名称在集群内必须是唯一的。说明 请勿使用保留关键字作为数据库名称，如 test 等。数据库Owner 数据库的所有者...
数据库管理
参数 说明 数据库（DB）名称 以字母开头，以字母或数字结尾；由小写字母、数字、下划线或中划线组成；长度为2~64个字符。数据库名称在实例内必须是唯一的。说明 请勿使用保留关键字作为数据库名称，如 test 等。数据库Owner 数据库的所有者...
管理数据库
参数 说明 数据库（DB）名称 以字母开头，以字母或数字结尾。由小写字母、数字、下划线（_）或中划线（-）组成。长度不超过64个字符。数据库名称在实例内必须是唯一的。说明 请勿使用保留关键字作为数据库名称，如 test、mysql 等。支持...
源库存在触发器时如何配置同步作业
案例介绍 数据库triggertestdata中存在了两个表：parent和child。其中，表parent中有一个触发器（定义：当INSERT一条数据到表parent之后，将其INSERT写入的数据写入一份至表child中）。说明 表结构及触发器定义如下表所示。对象类型 名称 ...
列过滤
操作步骤 将数据同步项目配置至 选择同步对象 步骤。详情请参见相应类型的 数据同步 项目文档。选择同步对象和映射方式后，在 选择同步范围 区域右侧的 目标端对象 列表中，鼠标悬停至目标对象，单击显示的 设置。在 设置 对话框的 选择列 ...
通过整库迁移配置集成任务
离线整库迁移可用于将本地数据中心或在ECS上自建的数据库同步数据至大数据计算服务，包括MaxCompute等数据源。本文为您介绍如何新建并配置整库迁移任务。前提条件 已完成所需迁移的数据源创建。整库迁移支持MySQL、Microsoft SQL Server、...
申请跨境数据同步权限
阅读DTS跨境数据同步数据合规承诺，并勾选相应条款。单击 提交。说明 系统将自动进行审批，请刷新页面后继续操作。后续步骤 跨境数据同步权限开通后，您可以配置跨境数据同步任务。若您是在任务页面申请的跨境数据同步权限，可以继续配置跨...
引用和清空数据同步项目配置
本文为您介绍如何引用和清空已有数据同步项目的配置。引用项目配置 重要 目前处于 未配置 状态的数据同步项目支持 引用配置 操作。登录 OceanBase 管理控制台。在左侧导航栏，单击 数据传输>数据同步。在 数据同步 页面，单击未配置的目标...
通过Mongo Shell管理数据库账号
roles":[{"role":"readAnyDatabase","db":"admin"}]} 查询目标数据库的所有数据库账号 说明 您可以通过 use database_name 命令切换数据库，其中 database_name 为目标数据库的名称。方式一：在目标数据库执行查询命令。show users 说明 ...
- 产品推荐
- 这些文档可能帮助您