使用SDK示例代码消费订阅数据
完成数据订阅通道的配置后，您可以使用DTS提供的SDK示例代码来订阅数据变更信息，本文介绍该示例代码的使用说明。操作步骤 重要 若数据源是PolarDB-X 1.0或DMS LogicDB，消费订阅数据的操作步骤请参见 使用SDK示例代码消费PolarDB-X 1.0...
使用SDK示例代码消费订阅数据
在完成数据订阅通道的配置（创建好订阅任务和消费组）后，您可以自行编写SDK示例代码或使用DTS提供的SDK示例代码来订阅数据变更信息，本文介绍示例代码的使用方法。重要 本操作为Java语言的SDK客户端示例，Python和Go语言的示例代码，请...
新功能发布记录
通过外表导入至湖仓版 MongoDB数据导入 通过外表导入至湖仓版 通过外表导入OSS数据至湖仓版 表格存储（Tablestore）数据导入 MySQL外表支持指定字符集 创建RDS MySQ外表和自建MySQL外表时，支持通过 charset 属性指定MySQL字符集。...
常见问题
问题1 问题现象：使用FileChannel作为Channel类型，并在执行 kill-9 强制退出后，因获取目录锁失败，导致Flume无法成功重启，具体报错如下。Due to java.io.IOException:Cannot lock data/checkpoints/xxx.The directory is already locked...
OGG插件介绍
随着数据规模的不断扩大，传统的RDBMS难以满足OLAP的需求，本文将介绍如何将Oracle的数据实时同步到阿里云的大数据处理平台当中，并利用大数据工具对数据进行分析。OGG采集工具 一、背景介绍 说明 随着数据规模的不断扩大，传统的RDBMS难以...
Serverless模式
迁移类型 文档 是否支持 数据写入 使用INSERT ON CONFLICT覆盖写入数据 支持 使用COPY ON CONFLICT覆盖导入数据 支持 基于Client SDK数据写入 支持 表级迁移 通过DataWorks导入数据 支持 通过DTS从云数据库同步数据 支持 通过DTS从自建数据...
数据库代理发布记录
本文主要介绍了 PolarDB MySQL版 数据库代理的版本更新记录。关于版本或者主动运维升级的相关问题，可加钉钉群咨询，群号：51685000218。版本管理机制 当前 PolarDB MySQL版 数据库代理有两个版本管理机制：新购版本：用户新购买的实例的...
MongoDB 4.2
第三方云数据库迁移至阿里云数据库MongoDB：使用MongoDB工具将MongoDB Atlas数据库迁移至阿里云数据库MongoDB 使用DTS将MongoDB Atlas数据库迁移至阿里云数据库MongoDB 使用DTS将华为云文档数据库迁移至阿里云数据库MongoDB 使用MongoDB...
任务运行失败
解决方案：该报错为FTP Check节点检测FTP数据源中Done文件不存在的预期报错，收到该报错时，DataWorks不会触发启动FTP Check节点的下游任务。报错：no available machine resources under the task resource group，该如何处理？问题现象运...
常见报错
报错概览 数据传输服务DTS（Data Transmission Service）常见报错的类型有如下 四 种：配置任务时常见的报错 任务运行中常见的报错 其他常见的报错 关于表结构的报错 配置任务时常见的报错 DTS.Msg.LXCreateOrderError 报错场景：购买DTS...
同步时源库为PolarDB MySQL版的注意事项及限制
如果同步的源集群为 PolarDB MySQL版，您需要在配置具体的同步任务前，参考本文的注意事项及限制，以保障数据同步任务的正常运行。源实例为PolarDB MySQL版的同步方案概览 根据如下同步方案，查看同步任务的注意事项及限制：说明 DTS默认...
应用采集器常见问题
不用，agent重启，新数据会和原数据去重合并。应用采集器支持websphere吗？支持使用sun/oracle JDK 1.6+版本部署的websphere，不支持IBM自带的JDK。多个应用可以部署多个agent吗？一个JVM可部署一个agent用于监控，多个应用无论是在多台...
设置连接保持
功能简介 RDS MySQL代理的连接保持功能，即在发生主动切换时，能保持应用程序与代理的连接不断开，用户通过代理地址访问数据库的应用程序不会收到连接断开的报错，如下图所示。说明 包含主动切换的运维操作：主动主备切换 升级小版本 修改...
迁移时源库为PolarDB-X 2.0的注意事项及限制
如果迁移的源实例为 PolarDB分布式版，您需要在配置具体的迁移任务前，参考本文的注意事项及限制，以保障数据迁移任务的正常运行。源库为PolarDB-X 2.0的迁移方案概览 根据如下迁移方案，查看迁移任务的注意事项及限制：PolarDB-X 2.0迁移...
同步时源库为PolarDB-X 2.0的注意事项及限制
如果同步的源实例为 PolarDB分布式版，您需要在配置具体的同步任务前，参考本文的注意事项及限制，以保障数据同步任务的正常运行。源库为PolarDB-X的同步方案概览 根据如下同步方案，查看同步任务的注意事项及限制：说明 DTS默认同步到目标...
版本说明
V2.6.13 2021年4月30日 问题修复 修复IgnoreError模式下未捕获异常的逃逸引发的行为不一致 修复查询时指定过小startTime时查不到数据的问题。V2.6.12 2021年4月9日 设计优化 添加数据写入的审计日志（由于会对写入性能有影响，只接受提交工...
PyODPS常见问题
该报错是由脏数据导致，请您检查数据列数是否和目标表一致。使用PyODPS读数据时，报错Project is protected，如何解决？Project上的安全策略禁止读取表中的数据，如果想使用全部数据，可以使用以下方法：联系Project Owner增加例外规则。...
Python SDK常见问题
该报错是由脏数据导致，请您检查数据列数是否和目标表一致。使用PyODPS读数据时，报错Project is protected，如何解决？Project上的安全策略禁止读取表中的数据，如果想使用全部数据，可以使用以下方法：联系Project Owner增加例外规则。...
2022年
无 2022年1月 ST_ExportTo函数 ST_ExportTo函数在导出数据时，如果目标文件已存在，返回false取代报错消息。无 2022年1月 ST_ImportFrom函数 ST_ImportFrom函数在导入数据时出错，会返回具体的错误详情方便排查错误原因。ST_ImportFrom ...
采集部署
7天数据）进入collector目录，将data/下的文件按appname打zip包，分别独立上传ADAM-应用画像，切记一个应用对应一个应用画像，一个应用下不同IP的数据可以打包到一起，但不同appname的数据不能打包到一起，否则上传会报错。下一步上传 应用...
PolarDB MySQL版8.0.2版本发布日志
8.0.2.2.22.1 类别 说明 发布时间 新增功能和性能优化 优化了将冷数据从OSS导回至InnoDB引擎的报错信息内容。支持在SQL Trace中配置跟踪慢查询的执行信息。2024-04-17 问题修复 修复Statement Outline和Concurrency Control等功能在执行...
在EMR集群运行TPC-DS Benchmark
TPC-DS是大数据领域最为知名的Benchmark标准。阿里云E-MapReduce多次刷新TPC-DS官方最好成绩，并且是第一个通过认证的可运行TPC-DS 100 TB的大数据系统。本文介绍如何在EMR集群完整运行TPC-DS的99个SQL，并得到最佳的性能体验。背景信息 ...
数据导入
当您需要将大批量数据导入至数据库时，可以使用数据管理DMS提供的数据导入功能，导入SQL、CSV、Excel类型的文件。前提条件 数据库类型如下：关系型数据库 MySQL：RDS MySQL、PolarDB MySQL版、MyBase MySQL、PolarDB分布式版、AnalyticDB ...
DLF-Auth
DLF-Auth组件是数据湖构建DLF（Data Lake Formation）产品提供的，通过该组件可以开启数据湖构建DLF的数据权限功能，可以对数据库、数据表、数据列、函数进行细粒度权限控制，实现数据湖上统一的数据权限管理。本文为您介绍如何开启DLF-...
升配集群
当Elasticsearch（ES）集群的数据量持续增长或内存占用过高，导致原有配置无法有效应对业务负载和性能需求时，可升级ES集群配置。升级集群时，如果集群负载不高且索引有副本的情况下，集群在变更过程中可以持续对外提供服务，但性能可能会...
迁移 PolarDB-X 1.0 数据库的数据至 OceanBase 数据库...
项目启动成功后，PolarDB-X 1.0 数据库至 OceanBase 数据库 MySQL 租户的数据迁移项目会自动删除，数据传输会保存 PolarDB-X 1.0 数据库下挂载的数据库至 OceanBase 数据库 MySQL 租户的数据迁移项目，并自动创建相应的数据源。您可以在弹...
为什么要升级到MongoDB的新版本
旧版本存在的风险和隐患 以下风险和隐患是 云数据库 MongoDB 版 团队根据长期的云数据库运维经验整理得出。分片实例的孤立文档导致进行实例间数据迁移时校验不一致 受影响的版本及架构：4.2及以下版本的分片集群实例。简要描述：在分片集群...
迁移 TiDB 数据库的数据至 OceanBase 数据库 MySQL ...
如果您变更目标端的唯一索引，需要重启数据迁移项目，否则可能存在数据不一致的问题。节点之间的时钟不同步，或者电脑终端和服务器之间的时钟不同步，均可能导致延迟时间（增量同步/反向增量）不准确。例如，如果时钟早于标准时间，可能...
MySQL实例间的双向同步
若源自建MySQL同时为双向同步任务和其他任务的源库，您需要在源库/etc/my.cnf 中增加一行 log_slave_updates=1，然后重启数据库。否则会导致反向任务的数据变更不会被记录到源自建MySQL的Binlog，从而导致其他任务数据不一致。费用说明 ...
MongoDB 4.4
第三方云数据库迁移至阿里云数据库MongoDB：使用MongoDB工具将MongoDB Atlas数据库迁移至阿里云数据库MongoDB 使用DTS将MongoDB Atlas数据库迁移至阿里云数据库MongoDB 使用DTS将华为云文档数据库迁移至阿里云数据库MongoDB 使用MongoDB...
MySQL实例间的双向同步
若源自建MySQL同时为双向同步任务和其他任务的源库，您需要在源库/etc/my.cnf 中增加一行 log_slave_updates=1，然后重启数据库。否则会导致反向任务的数据变更不会被记录到源自建MySQL的Binlog，从而导致其他任务数据不一致。当源库为RDS ...
MongoDB 7.0
第三方云数据库迁移至阿里云数据库MongoDB：使用MongoDB工具将MongoDB Atlas数据库迁移至阿里云数据库MongoDB 使用DTS将MongoDB Atlas数据库迁移至阿里云数据库MongoDB 使用DTS将华为云文档数据库迁移至阿里云数据库MongoDB 使用MongoDB...
MongoDB 5.0
第三方云数据库迁移至阿里云数据库MongoDB：使用MongoDB工具将MongoDB Atlas数据库迁移至阿里云数据库MongoDB 使用DTS将MongoDB Atlas数据库迁移至阿里云数据库MongoDB 使用DTS将华为云文档数据库迁移至阿里云数据库MongoDB 使用MongoDB...
迁移数据库账号
使用DTS同步或迁移数据的库表结构。即在 配置任务对象及高级配置 阶段中，同步类型 勾选了 库表结构同步 或者 迁移类型 勾选了 库表结构迁移。注意事项 当前仅MySQL实例间的同步或迁移、MySQL实例同步或迁移到 PolarDB MySQL版 集群、...
MongoDB 6.0
第三方云数据库迁移至阿里云数据库MongoDB：使用MongoDB工具将MongoDB Atlas数据库迁移至阿里云数据库MongoDB 使用DTS将MongoDB Atlas数据库迁移至阿里云数据库MongoDB 使用DTS将华为云文档数据库迁移至阿里云数据库MongoDB 使用MongoDB...
迁移 Oracle 数据库的数据至 OceanBase 数据库 Oracle...
在未开启同步 DDL 的情况下，如果您变更目标端的唯一索引，需要重启数据迁移项目，否则可能存在数据不一致的问题。如果数据迁移项目未启用正向切换，请删除目标端数据库对应的唯一索引和伪列。如果不删除唯一索引和伪列，会导致无法写入...
RDS PostgreSQL间的双向同步
数据传输服务DTS（Data Transmission Service）支持两个PostgreSQL数据库之间（比如RDS PostgreSQL、自建PostgreSQL）的双向数据实时同步，RDS PostgreSQL 实例间的双向同步，适用于异地多活（单元化）、数据异地容灾等多种应用场景。...
同步 RDS PostgreSQL 实例的数据至 OceanBase 数据库 ...
如果您变更目标端的唯一索引，需要重启数据同步项目，否则可能存在数据不一致的问题。节点之间的时钟不同步，或者电脑终端和服务器之间的时钟不同步，均可能导致增量同步的延迟时间不准确。例如，如果时钟早于标准时间，可能导致延迟时间为...
RDS PostgreSQL间的双向同步
数据传输服务DTS（Data Transmission Service）支持两个PostgreSQL数据库之间（比如RDS PostgreSQL、自建PostgreSQL）的双向数据实时同步，RDS PostgreSQL 实例间的双向同步，适用于异地多活（单元化）、数据异地容灾等多种应用场景。...
同步时源库为MySQL的注意事项及限制
若源自建MySQL同时为双向同步任务和其他任务的源库，您需要在源库/etc/my.cnf 中增加一行 log_slave_updates=1，然后重启数据库。否则会导致反向任务的数据变更不会被记录到源自建MySQL的Binlog，从而导致其他任务数据不一致。当源库为RDS ...
- 产品推荐
- 这些文档可能帮助您