通过向导模式配置离线同步任务
您需要在数据集成同步任务配置前，配置好您需要同步的源端和目标端数据库，以便在同步任务配置过程中，可通过选择数据源名称来控制同步任务的读取和写入数据库。离线同步支持的数据源及其配置详情请参见 支持的数据源与读写插件。说明 数据...
一键实时同步至Elasticsearch
您需要在数据集成同步任务配置前，配置好您需要同步的源端和目标端数据库，以便在同步任务配置过程中，可通过选择数据源名称来控制同步任务的读取和写入数据库。同步任务支持的数据源及其配置详情请参见 支持的数据源及同步方案。说明 数据...
使用写入高可用特性
临时开启同步写入 当异步模式发生错误时，您可以在 写入高可用 区域，打开 临时开启同步写入 开关，将异步模式临时转换为同步模式，快速恢复数据写入。当异步模式恢复正常后，您可以关闭 临时开启同步写入 开关，快速恢复异步写入模式。...
行协议参考
在实践中的行协议 关于如何将行协议数据写入数据库，请查看工具章节。重复数据点 measurement的名字、tag set和时间戳唯一标识一个数据点。如果您提交的数据具有相同measurement、tag set和时间戳但具有不同field set，那么数据的field set...
Kafka集群的数据存储格式
参数说明 参数 说明 database 数据库名称。es 操作在源库的执行时间，13位Unix时间戳，单位为毫秒。说明 Unix时间戳转换工具可用搜索引擎获取。id 操作的序列号。isDdl 是否是DDL操作。true：是。false：否。mysqlType 字段的数据类型。...
Kafka集群的数据存储格式
参数说明 参数 说明 database 数据库名称。es 操作在源库的执行时间，13位Unix时间戳，单位为毫秒。说明 Unix时间戳转换工具可用搜索引擎获取。id 操作的序列号。isDdl 是否是DDL操作。true：是。false：否。mysqlType 字段的数据类型。...
修改同步或迁移实例的当前位点
数据传输服务DTS（Data Transmission Service）支持修改同步或迁移实例增量写入模块的当前位点，帮助您在目标库写入数据时，跳过或再执行一次源库某段时间内的数据变更操作。背景信息 当前位点是实例写入到目标端的最新数据的时间戳，DTS...
批量或异步插入数据
本文介绍如何在云数据库ClickHouse中批量或异步插入数据。批量插入数据 默认情况下，每个发送到云数据库ClickHouse的插入操作都会导致云数据库ClickHouse立即在存储中创建一个包含插入的数据以及其他需要存储的元数据信息。因此，相比较...
连续查询
说明 连续查询归属于指定的数据库，当数据库删除时，该数据库下的所有连续查询也将被自动删除。如果不指定数据库，则在当前数据库（对应USE DATABASE语句指定的数据库）下创建连续查询。连续查询的删除 从指定的Database下删除一个已存在的...
跨库操作（dblink、postgres_fdw）
创建数据库 postgres=>\c<数据库名>/切换数据库 示例 postgres=>create database db1;CREATE DATABASE postgres=>\c db1 新建postgres_fdw插件。db1=>create extension postgres_fdw;新建用于连接远端目标数据库的服务器对象。db1=>CREATE ...
INTO子句
示例 重命名数据库 SELECT*INTO"copy_NOAA_water_database"."autogen".:MEASUREMENT FROM"NOAA_water_database"."autogen"./.*/GROUP BY*name:result time written-0 76290 在TSDB For InfluxDB®中不能直接重命名数据库，所以 INTO 子句的...
使用SSMS迁移上云
本文以Azure SQL Database为例，介绍如何使用SQL Server Management Studio（SSMS）将您本地自建或其他云的SQL Server数据库迁移到 RDS SQL Server。前提条件 已创建存储空间大于源库的目标 RDS SQL Server 实例，且 RDS SQL Server 实例需...
使用ClickHouse-Local迁移上云
当您需要优化数据管理、提高数据访问性能和降低数据库维护成本时，您可以将自建数据库迁移至云数据库ClickHouse企业版。云数据库ClickHouse企业版通过ClickHouse-Local工具为您的迁移任务提供了简便且可靠的解决方案。什么是ClickHouse-...
同步时源库为Db2 for LUW的注意事项及限制
Db2 for LUW同步至PolarDB-X 2.0 说明 DTS默认同步到目标数据库中时会取消外键约束，因此源数据库的级联、删除等操作不会同步到目标数据库。类型 说明 源库限制 带宽要求：源库所属的服务器需具备足够出口带宽，否则将影响数据同步速率。待...
从MySQL导入数据
当您需要将云数据库RDS MySQL或云原生数据库PolarDB MySQL中的数据迁移至 云数据库ClickHouse 中进行实时分析时，本文档为您提供了以RDS MySQL为参考的示例，以帮助您轻松完成数据迁移任务。前提条件 已创建目标 云数据库ClickHouse 集群，...
动态列
云原生多模数据库 Lindorm 宽表引擎支持动态列功能，即创建表时未显式指定的列，在实际业务中动态写入数据并执行查询。本文介绍如何通过Lindorm SQL实现动态列能力的开启、写入以及查询。背景信息 传统关系型数据库表的Schema必须预先定义...
时序引擎应用开发简介
使用OpenTSDB或时间序列数据库TSDB的应用开发步骤 Lindorm时序引擎兼容相关接口，对于已有使用OpenTSDB或者时间序列数据库TSDB的应用程序，您可以按照以下步骤进行应用迁移：应用适配 修改应用程序中的连接字符串，连接的目标从原有的...
表引擎
MergeTree 用于插入极大量的数据到一张表中，数据以数据片段的形式一个接着一个的快速写入，数据片段按照一定的规则进行合并。Data Replication 用于将数据从一个节点复制到其他节点，并保证数据的一致性。Custom Partitioning Key 用于...
连接方式概述
OceanBase Connector/C 允许 C/C++ 程序以一种较为底层的方式访问 OceanBase 分布式数据库集群，以进行数据库连接、数据访问、错误处理和 Prepared Statement 处理等操作。OceanBase Connector/C 也称为 LibOBClient，用于应用程序作为独立...
权益分发
DB写入数据至缓存时只写一次，可能会因为网络抖动等原因导致数据写入失败，进而造成数据更新不及时的结果。例如，库存原定需设置100,000，但运营策略变成10个，如果数据没有及时同步，那么就无法通知到下游，造成资损。方案架构 因为 云...
配置Hologres输出组件
Hologres输出组件用于向Hologres数据源写入数据。同步其他数据源的数据至Hologres数据源的场景中，完成源数据的信息配置后，需要配置Hologres输出组件的目标数据源。本文为您介绍如何配置Hologres输出组件。前提条件 已创建Hologres数据源...
同步时源库为MySQL的注意事项及限制
源库为MySQL的同步方案概览 根据如下同步方案，查看同步任务的注意事项及限制：说明 DTS默认同步到目标数据库中时会取消外键约束，因此源数据库的级联、删除等操作不会同步到如下目标数据库：MySQL（RDS MySQL、自建MySQL）PolarDB MySQL版...
同步时源库为MongoDB的注意事项及限制
如果同步的源数据库类型为MongoDB，如自建MongoDB、云数据库MongoDB，您需要在配置具体的同步任务前，参考本文的注意事项及限制，以保障数据同步任务的正常运行。源库为MongoDB的同步方案概览 根据如下同步方案，查看同步任务的注意事项及...
恢复PostgreSQL数据库
恢复目标数据库 数据库所在位置 本例中将备份集恢复至提前新建的 RDS实例 实例中，请确保目标数据库服务正在运行中，同时还支持恢复至如下数据库实例所在位置：有公网IP:Port的自建数据库 ECS上的自建数据库 通过专线/VPN网关/智能网关接入...
同步时源库为PolarDB-X 2.0的注意事项及限制
源库为PolarDB-X的同步方案概览 根据如下同步方案，查看同步任务的注意事项及限制：说明 DTS默认同步到目标数据库中时会取消外键约束，因此源数据库的级联、删除等操作不会同步到如下目标数据库：MySQL（RDS MySQL、自建MySQL）PolarDB ...
使用DTS迁移副本集架构的自建MongoDB数据库上云
使用数据传输服务DTS（Data Transmission Service），将副本集架构的自建MongoDB数据库迁移至云数据库MongoDB中。DTS支持全量数据迁移和增量数据迁移，同时使用这两种迁移类型可以实现在不停服的情况下，平滑地完成数据库的迁移上云。除本...
迁移时源库为HBase的注意事项及限制
由于全量数据迁移会并发执行INSERT操作，导致目标数据库的表产生碎片，因此全量迁移完成后目标数据库的表存储空间会比源实例的表存储空间大。DTS会尝试恢复七天之内迁移失败任务。因此业务切换至目标实例前，请务必结束或释放该任务，或者...
配置Hologres输出组件
Hologres输出组件用于向Hologres数据源写入数据。同步其他数据源的数据至Hologres数据源的场景中，完成源数据的信息配置后，需要配置Hologres输出组件的目标数据源。本文为您介绍如何配置Hologres输出组件。前提条件 已创建Hologres数据源...
使用时序Writer写入时序数据
快速上手 使用时序Writer快速写入时序数据到时序表。说明 此处按照步骤详细介绍时序Writer的使用方式，完整代码请参见 附录：完整代码。步骤一：安装 时序Writer 如果已经安装表格存储Java SDK，可跳过此操作。在Maven工程中使用时序Writer...
接口说明
在指定的数据库database下进行DDL等操作，比如在指定的database下创建表 Result execute(String database,String sql);其中，Result对象表示SQL的执行结果，比如提交数据库的列表语句（"SHOW DATABASES"）后，可以通过Result获取到已经存在...
将ECS上分片集群架构的自建MongoDB迁移上云
说明 如果源或目标数据库是阿里云数据库实例（例如RDS MySQL、云数据库MongoDB等）或ECS上的自建数据库，DTS会自动将对应地区DTS服务的IP地址添加到阿里云数据库实例的白名单或ECS的安全规则中，您无需手动添加，请参见 DTS服务器的IP地址...
从自建Db2迁移至RDS MySQL
说明 如果未勾选 增量数据迁移，为保障数据一致性，数据迁移期间请勿在Db2数据库中写入新的数据。迁移对象 在 迁移对象 框中单击待迁移的对象，然后单击 图标将其移动到 已选择对象 框。说明 迁移对象选择的粒度可以为库、表、列三个粒度。...
从MongoDB副本集实例迁移至分片集群实例
如果数据库业务量较大或服务器规格较低，可能会加重数据库压力，甚至导致数据库服务不可用。建议您在执行数据迁移前谨慎评估，在业务低峰期执行数据迁移。MongoDB实例支持的版本与存储引擎请参见 版本及存储引擎，如需跨版本或跨引擎迁移，...
专业术语
identifier（标识符）关于连续查询（continuous query）的名字、数据库（database）名、field key、measurement的名字、保留策略（retention policy）的名字、tag key和用户（user）名的标记。相关术语：database，field key，measurement...
数据集成概述
说明 以业务数据库数据同步到MaxCompute数据仓库为例，当有大量的数据存储在数据库系统里，需要将数据库中的全量及增量数据同步到MaxCompute进行数仓分析时，数据集成传统方式是通过全量同步或者依赖数据库表中的 modify_time 等字段进行...
MongoDB（无分片键）同步至MongoDB（分片集群架构）
如果源或目标数据库是ECS上的自建数据库，DTS会自动将对应地区DTS服务的IP地址添到ECS的安全规则中，您还需确保自建数据库没有限制ECS的访问（若数据库是集群部署在多个ECS实例，您需要手动将DTS服务对应地区的IP地址添到其余每个ECS的安全...
同步时源库为PolarDB-X 1.0的注意事项及限制
源库为 PolarDB-X 1.0 的同步方案概览 根据如下同步方案，查看同步任务的注意事项及限制：说明 DTS默认同步到目标数据库中时会取消外键约束，因此源数据库的级联、删除等操作不会同步到如下目标数据库：PolarDB-X 1.0 MySQL（RDS MySQL、自...
背景信息以及准备工作
Data Lake Analytics（简称DLA）作为云上数据处理的枢纽，支持通过标准JDBC连接 阿里云关系型数据库（Relational Database Service，简称RDS）（MySQL、SQLServer、PostgreSQL）数据库、云服务器（Elastic Compute Service，简称ECS）上的...
迁移 RDS PostgreSQL 实例的数据至 OceanBase 数据库 ...
本文为您介绍如何使用数据传输迁移 RDS PostgreSQL 实例 的数据至 OceanBase 数据库 Oracle 租户。重要 如果数据迁移项目长期处于非活跃状态（项目状态为 失败、已暂停 或 已完成），受增量日志保留时长等影响，项目可能无法恢复。数据传输...
Db2 for LUW同步至云原生数据仓库 AnalyticDB ...
如果源或目标数据库是ECS上的自建数据库，DTS会自动将对应地区DTS服务的IP地址添到ECS的安全规则中，您还需确保自建数据库没有限制ECS的访问（若数据库是集群部署在多个ECS实例，您需要手动将DTS服务对应地区的IP地址添到其余每个ECS的安全...
- 产品推荐
- 这些文档可能帮助您