数据写入方式概述
其中INSERT语句和COPY命令的写入数据均通过Master节点，INSERT语句每秒支持3 MB的数据写入量，COPY命令的写入性能快于INSERT，可以达到每秒30 MB。OSS外表为各个数据分区(Segment)并行读取，单分区从OSS加载的能力即可达到30 MB，整体加载...
使用Flink写入时序引擎
batchSize 否 批处理大小，即每次写入数据库的数据量，默认值为500个数据点。connectTimeoutMs 否 HTTP连接超时时间，默认值为90000。单位为毫秒（ms）。debug 否 是否开启debug模式，用来打印详细数据点日志。false：不开启，默认值。true...
同步时源库为Oracle的注意事项及限制
如果同步的源数据库类型为自建Oracle，您需要在配置具体的同步任务前，参考本文的注意事项及限制，以保障数据同步任务的正常运行。源库为Oracle的同步方案概览 根据如下同步方案，查看同步任务的注意事项及限制：说明 在库表结构同步过程中...
同步时源库为PolarDB-X 1.0的注意事项及限制
源库为 PolarDB-X 1.0 的同步方案概览 根据如下同步方案，查看同步任务的注意事项及限制：说明 DTS默认同步到目标数据库中时会取消外键约束，因此源数据库的级联、删除等操作不会同步到如下目标数据库：PolarDB-X 1.0 MySQL（RDS MySQL、自...
Schema约束
写入数据的相同字段的数据类型发生变化时，时序引擎会检测到字段的数据类型不匹配而写入失败。此时，请您执行ALTER TABLE语句手动修改字段的数据类型。说明 弱约束策略并不意味着完全没有校验。例如给标签（Tag）字段写入非字符串数据，或...
同步时源库为SQL Server的注意事项及限制
如为增量同步任务，DTS要求源数据库的数据日志保存24小时以上，如为全量同步和增量同步任务，DTS要求源数据库的数据日志至少保留7天以上（您可在全量同步完成后将数据日志保存时间设置为24小时以上），否则DTS可能因无法获取数据日志而导致...
同步时源库为PostgreSQL的注意事项及限制
源库为PostgreSQL的同步方案概览 根据同步方案，查看同步任务的注意事项及限制：说明 DTS默认同步到目标数据库中时会取消外键约束，因此源数据库的级联、删除等操作不会同步到如下目标数据库：RDS PostgreSQL 云原生数据仓库AnalyticDB ...
MongoDB（无分片键）同步至MongoDB（分片集群架构）
如果源或目标数据库是ECS上的自建数据库，DTS会自动将对应地区DTS服务的IP地址添到ECS的安全规则中，您还需确保自建数据库没有限制ECS的访问（若数据库是集群部署在多个ECS实例，您需要手动将DTS服务对应地区的IP地址添到其余每个ECS的安全...
将OSS数据写入AnalyticDB for MySQL 3.0
写入数据 异步执行以下SQL将OSS table目录下dla_table_1文件中的数据写入AnalyticDB for MySQL adb_demo数据库的shipping表。执行 OSS 到 AnalyticDB for MySQL 的全量数据写入。run-async=true*/INSERT INTO ads_database_schema.shipping...
Db2 for LUW同步至云原生数据仓库 AnalyticDB ...
说明 如为增量同步任务，DTS要求源数据库的数据日志保存24小时以上，如为全量同步和增量同步任务，DTS要求源数据库的数据日志至少保留7天以上（您可在全量同步完成后将数据日志保存时间设置为24小时以上），否则DTS可能因无法获取数据日志...
XML 类型
编码处理 在客户端、服务器以及其中流过的 XML 数据上处理多字符编码时必须要注意。在使用文本模式向服务器传递查询以及向客户端传递查询结果（在普通模式）时，PostgreSQL 将所有在客户端和服务器之间传递的字符数据转换为目标端的字符...
云数据库MongoDB版（副本集架构）同步至云数据库...
源数据库 目标数据库 云数据库MongoDB版（副本集架构）云数据库MongoDB版（副本集架构、分片集群架构）ECS上的自建MongoDB数据库（副本集架构）ECS上的自建MongoDB数据库（副本集架构、分片集群架构）通过专线、VPN网关或智能网关接入的自...
冷数据归档
功能概要 在时序数据库持续写入的场景下，早先写入的时序数据会随着时间推移，查询频度逐渐降低。这样的数据通常被称为“冷数据”，与之相对的概念被称为“热数据”。随着冷数据体量的不断变大，存储成本也会水涨船高。所以降低冷数据存储...
Db2 for LUW迁移至RDS MySQL
如为增量迁移任务，DTS要求源数据库的数据日志保存24小时以上，如为全量迁移和增量迁移任务，DTS要求源数据库的数据日志至少保留7天以上（您可在全量迁移完成后将数据日志保存时间设置为24小时以上），否则DTS可能因无法获取数据日志而导致...
RDS MySQL实例间的单向同步
数据传输服务DTS（Data Transmission Service）支持两个MySQL数据库之间的数据同步，本文以RDS MySQL实例之间的单向同步为例，介绍配置流程。前提条件 数据同步的源RDS实例和目标RDS实例已存在，详情请参见 创建RDS实例。源RDS实例和目标...
通过DTS实现数据库的垂直拆分
由于 简易拆分方案 需要短暂暂停业务并暂停向数据库写入数据，请选择业务低峰期操作以降低程序变更发布、切换实例过程中对业务的影响。双写方案 说明 可以实现业务的灰度切流，最大限度保证业务不受影响，但您需要先改造业务的应用程序，使...
接口说明
在指定的数据库database下进行DDL等操作，比如在指定的database下创建表 Result execute(String database,String sql);其中，Result对象表示SQL的执行结果，比如提交数据库的列表语句（"SHOW DATABASES"）后，可以通过Result获取到已经存在...
从ECS上的自建MySQL同步至RDS
注意事项 DTS在执行全量数据初始化时将占用源库和目标库一定的读写资源，可能会导致数据库的负载上升，在数据库性能较差、规格较低或业务量较大的情况下（例如源库有大量慢SQL、存在无主键表或目标库存在死锁等），可能会加重数据库压力，...
PolarDB-X 2.0迁移至Tablestore
如果源或目标数据库是ECS上的自建数据库，DTS会自动将对应地区DTS服务的IP地址添到ECS的安全规则中，您还需确保自建数据库没有限制ECS的访问（若数据库是集群部署在多个ECS实例，您需要手动将DTS服务对应地区的IP地址添到其余每个ECS的安全...
PolarDB MySQL版同步至RDS MySQL
如果源或目标数据库是ECS上的自建数据库，DTS会自动将对应地区DTS服务的IP地址添到ECS的安全规则中，您还需确保自建数据库没有限制ECS的访问（若数据库是集群部署在多个ECS实例，您需要手动将DTS服务对应地区的IP地址添到其余每个ECS的安全...
CREATE MATERIALIZED VIEW
参数说明：参数 说明 db 数据库的名称，默认为当前选择的数据库，本文以default为例。Materialized_name 物化视图名。TO[db.]name 将物化视图的数据写入到新表中。说明 如果需要将物化视图的数据写入新表，不能使用 POPULATE 关键字。[ON ...
Db2 for LUW迁移至PolarDB MySQL版
如为增量迁移任务，DTS要求源数据库的数据日志保存24小时以上，如为全量迁移和增量迁移任务，DTS要求源数据库的数据日志至少保留7天以上（您可在全量迁移完成后将数据日志保存时间设置为24小时以上），否则DTS可能因无法获取数据日志而导致...
自建SQL Server同步至云原生数据仓库 AnalyticDB ...
如为增量同步任务，DTS要求源数据库的数据日志保存24小时以上，如为全量同步和增量同步任务，DTS要求源数据库的数据日志至少保留7天以上（您可在全量同步完成后将数据日志保存时间设置为24小时以上），否则DTS可能因无法获取数据日志而导致...
云数据库MongoDB版（副本集架构）间的双向同步
数据传输服务DTS（Data Transmission Service）支持 云数据库MongoDB版（副本集架构）间的双向同步。前提条件 已创建源和目标 云数据库MongoDB版（副本集架构）实例，创建方式，请参见 创建副本集实例。重要 支持的版本，请参见 同步方案...
华为云云数据库RDS MySQL迁移到阿里云
注意事项 对于七天之内的异常迁移任务，DTS会尝试自动恢复，可能会导致迁移任务的源端数据库数据覆盖目标实例数据库中写入的业务数据，迁移任务结束后务必将DTS访问目标实例账号的写权限用 revoke 命令回收掉。操作步骤 登录 DTS控制台。在...
创建/刷新物化视图支持批量写入
当需要写入的数据量较大时，不再每次扫描一个元组就立刻写入表或物化视图中，而是在内存中攒够一定数量的元组后，一次性批量写入表或物化视图中，从而能够减少记录WAL日志和查询页面空闲空间映射的开销，降低对页面的锁定频率，显著缩短...
RDS MySQL同步至AnalyticDB for PostgreSQL ...
除MySQL外，DTS还支持以PostgreSQL、SQL Server和DB2作为数据源，具体支持的数据库请参见 支持的数据库。注意事项 说明 DTS默认同步到目标数据库中时会取消外键约束，因此源库的级联、删除等操作不会同步到目标数据库。类型 说明 源库限制 ...
Db2 for LUW同步至RDS MySQL
说明 如为增量同步任务，DTS要求源数据库的数据日志保存24小时以上，如为全量同步和增量同步任务，DTS要求源数据库的数据日志至少保留7天以上（您可在全量同步完成后将数据日志保存时间设置为24小时以上），否则DTS可能因无法获取数据日志...
PolarDB-X 2.0同步至Tablestore
如果源或目标数据库是ECS上的自建数据库，DTS会自动将对应地区DTS服务的IP地址添到ECS的安全规则中，您还需确保自建数据库没有限制ECS的访问（若数据库是集群部署在多个ECS实例，您需要手动将DTS服务对应地区的IP地址添到其余每个ECS的安全...
云数据库MongoDB版（分片集群架构）间的双向同步
数据传输服务DTS（Data Transmission Service）支持 云数据库MongoDB版（分片集群架构）间的双向同步，适用于异地多活（单元化）、数据异地容灾等多种应用场景。本文介绍双向数据同步的配置步骤。前提条件 已创建源和目标 云数据库MongoDB...
创建/刷新物化视图支持批量写入
当需要写入的数据量较大时，不再每次扫描一个元组就立刻写入表或物化视图中，而是在内存中攒够一定数量的元组后，一次性批量写入表或物化视图中，从而能够减少记录WAL日志和查询页面空闲空间映射的开销，降低对页面的锁定频率，显著缩短...
时序引擎应用开发简介
使用OpenTSDB或时间序列数据库TSDB的应用开发步骤 Lindorm时序引擎兼容相关接口，对于已有使用OpenTSDB或者时间序列数据库TSDB的应用程序，您可以按照以下步骤进行应用迁移：应用适配 修改应用程序中的连接字符串，连接的目标从原有的...
数据库管理
数据库（Database）是表、索引、视图、存储过程、操作符的集合。您可以在一个 AnalyticDB PostgreSQL 实例中创建多个数据库，但是客户端程序一次只能连接上并且访问一个数据库，无法跨数据库进行查询。创建数据库 使用 CREATE DATABASE ...
Db2 for LUW迁移至云原生数据仓库 AnalyticDB ...
如为增量迁移任务，DTS要求源数据库的数据日志保存24小时以上，如为全量迁移和增量迁移任务，DTS要求源数据库的数据日志至少保留7天以上（您可在全量迁移完成后将数据日志保存时间设置为24小时以上），否则DTS可能因无法获取数据日志而导致...
MongoDB（无分片键）同步至MongoDB（分片集群架构）
如果源或目标数据库是ECS上的自建数据库，DTS会自动将对应地区DTS服务的IP地址添到ECS的安全规则中，您还需确保自建数据库没有限制ECS的访问（若数据库是集群部署在多个ECS实例，您需要手动将DTS服务对应地区的IP地址添到其余每个ECS的安全...
使用ClickHouse-Local迁移上云
当您需要优化数据管理、提高数据访问性能和降低数据库维护成本时，您可以将自建数据库迁移至云数据库ClickHouse企业版。云数据库ClickHouse企业版通过ClickHouse-Local工具为您的迁移任务提供了简便且可靠的解决方案。什么是ClickHouse-...
近实时增量导入
实际业务数据处理场景中，涉及的数据源丰富多样，可能存在数据库、日志系统或者其他消息队列等系统，为了方便用户将数据写入MaxCompute的Transactional Table 2.0，MaxCompute深度定制开发了开源 Flink Connector工具，联合DataWorks数据...
同步时源库为Redis的注意事项及限制
如果同步的源数据库类型为Redis，如自建Redis、云数据库Redis，您需要在配置具体的同步任务前，参考本文的注意事项及限制，以保障数据同步任务的正常运行。源库为Redis的同步方案概览 根据如下同步方案，查看同步任务的注意事项及限制：...
实时消费Kafka数据
DATABASE:<db_name>USER:<user_name>PASSWORD:<password>HOST:<host>PORT:<adbpg_port>VERSION:2 KAFKA:INPUT:SOURCE:BROKERS:[,.]TOPIC:[PARTITIONS:()][FALLBACK_OFFSET:{ earliest|latest }][VALUE:COLUMNS:NAME:{<column_name>} TYPE:...
腾讯云云数据库MySQL迁移到阿里云
注意事项 对于七天之内的异常任务，DTS会尝试自动恢复，可能会导致迁移任务的源端数据库数据覆盖目标实例数据库中写入的业务数据，迁移任务结束后务必将DTS访问目标实例账号的写权限用 revoke 命令回收掉。操作步骤 登录 DTS控制台。在左侧...
- 产品推荐
- 这些文档可能帮助您