Kafka集群的数据存储格式
更新数据的示例如下：说明 2022年3月20日之前创建的DTS订阅实例，源表的 DELETE 语句同步到kafka，其中 old 的值是数据，data 的值是null。为了和开源社区保持一致，2022年3月20日起创建或重启的DTS订阅实例，data 的值是数据，old 的值是...
Kafka集群的数据存储格式
更新数据的示例如下：说明 2022年3月20日之前创建的DTS订阅实例，源表的 DELETE 语句同步到kafka，其中 old 的值是数据，data 的值是null。为了和开源社区保持一致，2022年3月20日起创建或重启的DTS订阅实例，data 的值是数据，old 的值是...
使用DMS进行数据归档
随着企业的数据资料持续积累，需要持久化地保留数据资产，但是数据的存储成本居高不下，因此DMS和 AnalyticDB PostgreSQL版 Serverless模式共同推出了数据归档功能，可以面对数据库实现灵活低价、归档管理和高分析性能的能力。功能介绍 DMS...
新功能发布记录
下载备份 RDS MySQL 设置实例释放后备份保留策略 RDS MySQL（含Serverless）云盘实例支持长期保留备份能力，您可通过设置实例释放后备份文件保留策略，设置完成后，即使实例被释放，备份文件也将长期保留。长期保留备份 2023年11月 PolarDB...
通过DataX导入数据
column 是 无 目的表需要写入数据的字段，这些字段将作为生成的JSON数据的字段名。字段之间用英文逗号分隔。示例："column":["id","name","age"]。preSql 否 无 写入数据到目的表前，会先执行这里的标准语句。postSql 否 无 写入数据到目的...
RDS MySQL迁移至Elasticsearch
说明 如目标实例中此类时间类型数据无需带有时区，您需要预先在目标实例中设置该时间类型数据的文档类型（type）。DOCID取值 DOCID默认为表的主键，如表中无主键，则DOCID为Elasticsearch自动生成的ID列。环境标签 您可以根据实际情况，...
PolarDB MySQL版迁移至Kafka
说明 若目标实例为 阿里云消息队列Kafka版，请确保已创建用于接收同步数据的Topic，然后将其作为自建Kafka进行配置。创建Topic的方法，请参见 步骤一：创建Topic。目标Kafka集群实例的存储空间须大于源 PolarDB MySQL版 集群实例占用的存储...
RDS MySQL只读实例同步延迟原因与处理
主实例的TPS（Transaction Per Second）过高 由于只读实例与主实例之前的同步采用的是单线程同步，若主实例并发多线程写入数据，在主实例TPS过高的情况下容易出现只读实例的数据延迟，可以通过观察只读实例的TPS与主实例的TPS性能数据来...
RDS MySQL只读实例同步延迟原因与处理
主实例的TPS（Transaction Per Second）过高 由于只读实例与主实例之前的同步采用的是单线程同步，若主实例并发多线程写入数据，在主实例TPS过高的情况下容易出现只读实例的数据延迟，可以通过观察只读实例的TPS与主实例的TPS性能数据来...
自建数据库备份恢复上云
例如，备份期间原实例中若有太多写入操作，会导致实例大量生成redo日志、或实例中执行了大型的事务等情况下，备份文件校验时间会变长。恢复用户备份至云上 完成 导入备份 后，您可以将该备份文件恢复至新实例，实现备份上云。重要 用户备份...
PolarDB-X 1.0迁移至阿里云消息队列Kafka
已创建Kafka实例，并已创建用于接收迁移数据的Topic，关于Kafka实例的更多信息，请参见 概述。目标Kafka实例的存储空间须大于PolarDB-X 1.0实例占用的存储空间。注意事项 类型 说明 源库限制 待迁移的表需具备主键或唯一约束，且字段具有...
跨地域备份
RDS MySQL提供了跨地域备份数据（异地备份）功能，可以自动将数据备份到另一个地域，可用于监管或容灾恢复等场景。说明 MySQL默认的备份功能，请参见 自动备份。PostgreSQL跨地域备份，请参见 PostgreSQL跨地域备份。SQL Server跨地域备份...
配置任务常见错误码及排查方法
原因：源数据库实例为 实例类型 是 只读实例 的PolarDB-X实例，暂不支持该PolarDB-X实例。解决方法：源数据库更换为 实例类型 是 主实例 的PolarDB-X实例。DTS.Msg.DbTypeNotSupport.PolarDBRDS 配置源库为PolarDB-X云原生分布式数据库（原...
RDS MySQL迁移至阿里云消息队列Kafka版
前提条件 已创建源实例 RDS MySQL 和目标实例 阿里云消息队列Kafka版。说明 源实例 RDS MySQL 的创建方式，请参见 快速创建RDS MySQL实例。支持的版本，请参见 迁移方案概览。目标实例 阿里云消息队列Kafka版 的存储空间须大于源实例 RDS ...
从PolarDB-X同步至AnalyticDB for PostgreSQL
分析型数据库PostgreSQL版（原HybridDB for PostgreSQL）为您提供简单、快速、经济高效的PB级云端数据仓库解决方案。通过数据传输服务DTS（Data Transmission Service），您可以将 PolarDB-X 同步至AnalyticDB for PostgreSQL，帮助您快速...
从备份文件恢复到自建MySQL数据库
您可以使用 PolarDB 的备份文件下载功能，将云盘实例的快照备份数据转换成CSV文件或SQL文件导出，然后通过该文件将数据恢复到自建MySQL数据库中。前提条件 PolarDB MySQL版 集群要求 集群版本要求：当前仅 PolarDB MySQL版 企业版的集群版...
PolarDB-X间的数据实时同步
云原生分布式数据库 PolarDB-X 是阿里巴巴致力于解决单机数据库服务瓶颈而自主研发的分布式数据库产品，高度兼容MySQL协议和语法，支持自动化水平拆分、在线平滑扩缩容、弹性扩展、透明读写分离，具备数据库全生命周期运维管控能力。...
Teradata迁移至云原生数据仓库 AnalyticDB PostgreSQL...
数据传输服务DTS（Data Transmission Service）支持将Teradata迁移至 云原生数据仓库AnalyticDB PostgreSQL版。前提条件 该迁移任务仅支持在新版控制台配置。Teradata数据库为17及以下版本。已创建目标 AnalyticDB PostgreSQL 实例，如未...
PolarDB-X 1.0同步至云原生数据仓库 AnalyticDB MySQL...
本文介绍如何使用数据传输服务DTS（Data Transmission Service），将 PolarDB-X 1.0 同步至 云原生数据仓库AnalyticDB MySQL版 3.0，实现增量数据的实时同步。前提条件 已创建 PolarDB-X 1.0，如未创建请参见 创建实例 和 创建数据库。说明...
RDS MySQL同步至Elasticsearch
前提条件 已创建源 RDS MySQL 实例，详情请参见 快速创建RDS MySQL实例。已创建目标 Elasticsearch 实例，详情请参见 创建阿里云Elasticsearch实例。目标 Elasticsearch 实例的存储空间须大于源 RDS MySQL 实例占用的存储空间。注意事项 ...
复杂类型函数
您可以在MaxCompute SQL中使用复杂类型函数处理复杂数据类型，例如ARRAY、MAP、STRUCT、JSON。本文为您提供MaxCompute SQL支持的复杂类型函数的命令格式、参数说明及示例，指导您使用复杂类型函数完成开发。MaxCompute SQL支持的复杂类型...
Db2 for LUW同步至云原生数据仓库 AnalyticDB ...
前提条件 已创建目标 云原生数据仓库AnalyticDB PostgreSQL版 实例，创建方式请参见 创建实例。若源库数据需要全量同步，目标数据库的存储空间需大于源数据库占用的存储空间。注意事项 说明 在库表结构同步过程中，DTS会将源数据库中的外键...
查询ECS实例
本文基于Python语言介绍如何通过API查询ECS实例。背景信息 查询ECS实例相关信息的完整代码示例，请参见 完整代码。代码示例解析，请参见：查询当前账号支持的地域列表 查询指定地域下的ECS实例 更多代码示例，请参见 阿里云代码示例库...
Db2 for LUW同步至云原生数据仓库 AnalyticDB ...
前提条件 已创建目标 云原生数据仓库AnalyticDB PostgreSQL版 实例，创建方式请参见 创建实例。若源库数据需要全量同步，目标数据库的存储空间需大于源数据库占用的存储空间。注意事项 说明 在库表结构同步过程中，DTS会将源数据库中的外键...
从腾讯云MySQL迁移至阿里云
注意事项 DTS在执行全量数据迁移时将占用源库和目标库一定的读写资源，可能会导致数据库的负载上升，在数据库性能较差、规格较低或业务量较大的情况下（例如源库有大量慢SQL、存在无主键表或目标库存在死锁等），可能会加重数据库压力，...
JSON&JSONB 数据类型操作
JSON 类型几乎已成为互联网及物联网（IoT）的基础数据类型，AnalyticDB PostgreSQL 数据库对JSON数据类型做了完善的支持。并且 AnalyticDB PostgreSQL 6.0版 支持JSONB类型。这部分介绍对JSON&JSONB数据类型的操作，包括：JSON&JSONB的异同...
同步 RDS PostgreSQL 实例的数据至 OceanBase 数据库 ...
本文为您介绍如何同步 RDS PostgreSQL 实例的数据至 OceanBase 数据库 Oracle 租户。前提条件 数据传输已具备云资源访问权限。详情请参见 数据传输迁移角色授权。已为源端 RDS PostgreSQL 实例创建专用于数据同步项目的高权限账号。详情请...
TSDB全量迁移至时序引擎
注意事项 如果应用部署在ECS实例，建议Lindorm实例、ECS实例和TSDB实例使用相同的专有网络，以保证网络的连通性。如果您使用公网将TSDB迁移至Lindorm时序引擎，请确保Lindorm实例和TSDB实例已开通外网地址，并将客户端IP地址添加至Lindorm...
UDF开发（Python3）
MaxCompute当前支持利用Python 3语言来开发自定义函数（UDF），以满足特定的业务逻辑需求。本文为您介绍如何通过Python 3语言编写UDF。UDF代码结构 您可以通过 MaxCompute Studio 工具使用Python 3语言编写UDF代码，代码中需要包含如下信息...
规格及选型
本文将介绍如何选择 云原生数据仓库AnalyticDB PostgreSQL版 实例规格。实例资源类型 AnalyticDB PostgreSQL版 推荐使用存储弹性模式和Serverless版本两种实例资源类型：存储弹性模式 产品功能完整，使用存储计算一体架构，支持计算节点...
从自建TiDB全量迁移至RDS MySQL
本文介绍如何使用数据传输服务DTS（Data Transmission Service），将自建的TiDB数据库全量迁移至RDS MySQL。前提条件 快速创建RDS MySQL实例。重要 由于该功能仅在部分地域支持，目标RDS MySQL实例所属的地域需为华东1（杭州）、华东2...
云数据库MongoDB版同步至云原生多模数据库Lindorm
预检查完成后，DTS会将源实例中待同步对象的全量数据在目标集群中初始化，作为后续增量同步数据的基线数据。目标已存在表的处理模式 预检查并报错拦截：检查目标数据库中是否有同名的集合。如果目标数据库中没有同名的集合，则通过该检查...
常见问题
如果是数据迁移任务，您可以为数据库实例（如RDS MySQL）申请公网地址，以 公网IP 接入，实例地区可以选择DTS支持的地区，并将对应地区的DTS服务器IP地址段添加到实例的白名单中。需要添加的IP白名单，请参见 添加DTS服务器的IP地址段。...
RDS MariaDB迁移至RDS PostgreSQL
已在目标RDS PostgreSQL实例中创建用于接收数据的数据库。具体操作，请参见 创建账号和数据库。注意事项 说明 在库表结构迁移过程中，DTS会将源数据库中的外键迁移到目标数据库。在全量迁移和增量迁移过程中，DTS会以Session级别暂时禁用...
PolarDB-X 1.0同步至Elasticsearch
说明 如目标实例中此类时间类型数据无需带有时区，您需要预先在目标实例中设置该时间类型数据的文档类型（type）。DOCID取值 DOCID默认为表的主键，如表中无主键，则DOCID为 Elasticsearch 实例自动生成的ID列。配置ETL功能 选择是否配置...
Reserve参数说明
在调用部分接口配置或查询迁移或同步、订阅任务时，您需要配置或查询预留参数Reserve（数据类型为字符串String，传入格式为JSON）来完善或查看源或目标实例的配置信息（比如目标Kafka集群的数据存储格式、云企业网CEN的实例ID）。...
从自建TiDB增量迁移至RDS MySQL
本文介绍如何使用数据传输服务DTS（Data Transmission Service），结合Kafka集群与TiDB数据库的Pump、Drainer组件，完成增量数据迁移，实现在应用不停服的情况下，平滑地完成数据库的迁移上云。前提条件 说明 增量迁移前，您可先将自建TiDB...
命令行界面
host：指的是实例的访问地址，其中 ts-xxxxxx 需要替换为用户的实例ID。port：指的是网络端口，VPC网络使用 8086，公网使用 3242。现在，您可以直接在终端中输入InfluxQL查询和一些CLI命令。如果要输入Flux查询，您需要将选项-type 设置为 ...
JSON和JSONB类型
JSON储存的数据是对数据的完整拷贝，会保留源数据的空格、重复键和顺序等，如果一个值中的JSON对象包含同一个键超过一次，所有的键、值对都会被保留。而JSONB在解析时会删除掉不必要的空格、重复键和数据的顺序等，如果在输入中指定了重复...
PolarDB MySQL版迁移至Elasticsearch
如果没有明确定义其精度，DTS默认对FLOAT的迁移精度为38位，对DOUBLE的迁移精度为308位，请确认迁移精度是否符合业务预期。DTS会尝试恢复七天之内迁移失败实例的任务。因此在业务切换至目标实例前，请务必结束或释放该示例，或者将DTS访问...
- 产品推荐
- 这些文档可能帮助您