什么是数据资源平台
目前数据资源平台提供以下功能：协同 数据同步：数据同步可实现离线、实时多源异构数据的便捷同步或接入，系统可提供完善的数据接入配置、数据模板配置、数据同步任务运行监控等功能，有效保障数据接入的稳定性和可控性，满足各类平台、...
概述
PolarDB-X 1.0：V5.2.8、V5.4.2、V5.4.9、V5.4.12 PolarDB-X 2.0：V5.4.x TiDB：V4.x、V5.x PostgreSQL：V11.x、V12.x 数据同步 V2.2.30、V2.2.52、V2.2.76、V2.2.77、V3.1.x、V3.2.x、V4.0.0、V4.1.0、V4.2.0、V4.2.1、V4.2.2 ADB：V3.0 ...
Dataphin集成任务如何实现范围分区同步
概述 Dataphin集成任务如何实现范围分区同步。详细信息 通过时间参数和过滤配置实现近10天的范围数据同步。适用于 Dataphin
Quick BI如何同步MaxCompute新增的表
由于MaxCompute类型的数据源采用异步加载和更新的策略，如果您是第一次创建该数据源，需要等待1~5分钟让数据进行同步，如果是新增表，需要等10~20分钟。2.QBI数据源填写AK信息对生产项目无权限查看。解决方案 1.点击MaxCompute数据源右上角...
数据传输规格说明
不同的实例规格对应了增量同步的不同 RPS 性能表现，以及建议迁移或同步的最大表对象数量，通过 OceanBase 数据传输服务可以实现数据秒级同步至目标端。但是受限于源端实例的运行负载、传输网络的带宽、网络延时和目标端实例写入性能等多种...
通过标签管理数据同步项目
创建数据同步项目后，您可以通过标签功能实现对数据同步项目的管理，快速筛选目标项目。本文为您介绍数据传输如何通过标签功能实现对数据同步项目的管理。使用限制 每个数据同步项目最多支持添加 4 个标签。所有数据同步项目的标签总数不得...
CREATE DATABASE AS（CDAS）语句
CDAS支持整库级别的表结构和数据的实时同步，还支持表结构变更的同步。本文为您介绍CREATE DATABASE AS（CDAS）的使用方法，并提供了多种使用场景下的示例。背景信息 CDAS是 CTAS 语法的一个语法糖，用于实现整库同步、多表同步的功能。...
数据同步拓扑介绍
拓扑类型 拓扑图 说明 一对一单向同步 无 一对多单向同步 您需要购买多个同步实例来实现一对多单向同步。例如，从实例A同步到实例B、实例C和实例D，那么您需要购买三个同步实例。级联单向同步 您需要购买多个同步实例来实现级联单向同步。...
钉邮绑定和通讯录同步
同步Excel上传同步完成后，后续同步以钉钉侧为准，即钉钉侧增删改部门会同步至邮箱侧，邮箱侧不会同步至钉钉侧（不论之前同步选的基准是哪一侧）。3）钉钉侧删除部门，如果邮箱侧对应部门下有账号，则邮箱部门不会同步删除。钉钉&邮箱账号...
从RDS原生实时同步
HybridDB for MySQL原生支持直接从RDS实时同步数据，用户可以快速地构建起RDS到HybridDB for MySQL的同步关系，轻松实现数据流转和复杂查询加速。前提条件 必须使用阿里云主账户执行该操作。该操作只支持阿里云RDS for MySQL（5.6版本）...
使用云数据库Redis版实现即时通信场景中的多端同步
本文为您介绍一种使用云数据库Redis版在IM场景中实现多端同步的方案。消息存储模型 通常，IM系统的核心架构分为三个部分：消息管理模块、消息同步模块、通知模块。这三个模块的作用如下：消息管理模块主要负责接收和存储消息。消息同步模块...
如何解决同步实例关于表的报错？
本文介绍如何使用修改同步对象功能，解决DTS同步实例运行过程中表报错的问题。前提条件 没有业务读取目标库的数据，或业务可以短时间不读取目标库的数据。源库和目标库处于正常运行的状态。除报错信息中的表以外，同步实例有其他待同步的...
第三方数据源授权数据分析确认书
3、为了实现数据源同步、分析，您应确保您的数据源向阿里云开放必要的权限或进行必要的技术授权，否则由于鉴权失败等原因造成的同步不成功或分析处理有误，阿里云不承担责任。4、您和阿里云均理解并确认，阿里云除为执行您的服务指令进行...
全增量数据同步
增量数据同步基于HBase WAL实现异步数据同步，Bulkload的数据和不写WAL的数据将不会被同步。增量同步中的日志管理 开启增量同步后，如果不消费数据，默认日志会保留48小时，超时后订阅关系自动取消，保留的数据自动删除。什么场景会导致...
Beam概述
支持DTS同步 得益于主键的支持，Beam表可以和Heap表一样，实现DTS数据同步链路。您可以在DTS任务中将目标表配置为Beam表，从而获得更优的查询性能，而不需要在行存和列存表之间做额外的数据同步。相关文档 更多关于Beam存储引擎的使用，请...
HBase数据同步与迁移
增量数据同步基于HBase WAL实现异步数据同步，Bulkload的数据和不写WAL的数据将不会被同步。不支持搜索索引的数据迁移。注意事项 迁移前请确认目标集群的HDFS容量，防止迁移过程中出现容量写满的情况。增量同步提交前，建议将源集群的日志...
现代IM系统中的消息系统—架构
基于Timeline构建的现代消息系统能够同时支持消息系统的多种特性，包括多端同步、消息漫游和在线检索，在性能和规模上能够实现全量消息云端存储和索引、百万TPS写入以及毫秒级延迟的消息同步和检索能力。背景 在这个高度信息化的移动互联网...
Phoenix全增量迁移
增量数据同步基于HBase WAL实现异步数据同步，Bulkload的数据、不写WAL的数据将不会被同步。注意事项 迁移前请确认目标集群的HDFS容量，防止迁移过程中出现容量写满的情况。增量同步提交前，推荐修改一下源集群的日志保留时间，给增量同步...
网络时间同步助手
本文介绍如何通过函数计算部署网络时间同步助手，实现设备本地时间与网络时间同步。如果您的设备上已经安装了NTP服务，有和云端服务器周期性同步系统时间的能力，则无需操作本文内容。前提条件 本示例仅适用于Link IoT Edge专业版，在开始...
增量数据同步
通过选择已注册的数据源端数据和目标端，实现增量任务自动建表的方式创建离线同步周期任务，本文介绍如何创建MySQL to MaxCompute离线增量数据同步周期调度的任务。前提条件 已新建工作组“信息中心（xxzx）”，具体操作，请参见 新建工作...
创建同步MaxCompute
Base64编码DataHub BLOB默认存储二进制数据，而MaxCompute对应的同步列为STRING类型，因此管控台创建同步任务时，默认采用base64编码后进行同步，更多定制化需求请参考SDK实现。查看同步任务 可以点击对应connector的详情页面查看同步任务...
下线配置
数据同步期间，如需暂停数据同步（例如数据出现问题，需要紧急停止同步），可以通过下线同步配置来实现。进入 移动开发平台 mPaaS 控制台，选择目标应用，完成以下步骤将数据同步配置下线。操作步骤 在左侧导航栏点击 数据同步，进入数据...
一键建仓
您只需要在RDS PostgreSQL侧创建发布（PUBLICATION），在 AnalyticDB PostgreSQL版 侧创建一键建仓任务订阅并发布，即可实现数据实时同步。注意事项 仅 AnalyticDB PostgreSQL版 存储弹性模式实例且内核版本为V6.3.8.0及以上，才支持一键建...
从自建TiDB同步至云原生数据仓库AnalyticDB MySQL
本文介绍如何使用数据传输服务DTS（Data Transmission Service），结合Kafka集群与TiDB数据库的Pump、Drainer组件，将自建TiDB数据库同步至 云原生数据仓库AnalyticDB MySQL。前提条件 已创建 云原生数据仓库AnalyticDB MySQL 3.0版本，...
手工触发同步
概述 手动触发同步：可以实现辅助DNS主动连接主DNS进行解析数据更新。注意：辅助DNS中的解析记录更新，一般是由主DNS发送NOTIFY来触发解析数据同步，或者是根据主DNS设置的刷新时间来触发解析数据同步（指时间到期则触发）。操作步骤 登录 ...
MSE Sync迁移方案
MSE Sync是一款基于开源Nacos Sync项目深度定制和优化的数据同步工具，不仅具备双向数据同步能力，还集成了自动服务发现与一键全量同步服务等高效功能。通过采用多实例部署架构，实现了高级别的容灾备份机制，适用于在Nacos、Zookeeper以及...
RDS PostgreSQL同步至PolarDB PostgreSQL版
本文介绍如何使用数据传输服务DTS（Data Transmission Service），实现 RDS PostgreSQL 同步至 PolarDB PostgreSQL版。前提条件 已创建存储空间大于源 RDS PostgreSQL 实例占用存储空间的目标 PolarDB PostgreSQL版 集群。创建方法，请参见...
手动触发同步
概述 手动触发同步：可以实现辅助DNS主动连接主DNS进行解析数据更新。注意：辅助DNS中的解析记录更新，一般是由主DNS发送NOTIFY来触发解析数据同步，或者是根据主DNS设置的刷新时间来触发解析数据同步（指时间到期则触发）。操作步骤 登录 ...
支持的数据库
源库 目标库 同步类型 同步拓扑 配置文档 自建MySQL 5.1、5.5、5.6、5.7、8.0版本 RDS MySQL 所有版本 自建MySQL 5.1、5.5、5.6、5.7、8.0版本 RDS MySQL 所有版本 库表结构同步 全量数据同步 增量数据同步 单向同步 双向同步 自建MySQL...
解决方案与客户案例
本文介绍了异地多活解决方案的架构和应用场景，以及国税总局和联通新客服系统案例的实现架构和效果。异地多活数据库解决方案 方案背景 随着云计算的蓬勃发展，越来越多的信息系统选择部署在云计算环境下，因此基于云产品为信息系统的服务...
数据集成侧同步任务能力说明
DataWorks为您提供多种数据源之间进行不同数据同步场景的全增量同步任务，包括实时数据同步、离线全量同步、离线增量同步等同步场景，助力企业数据更高效、更便捷的一键上云。背景信息 实际业务场景下，数据同步通常不能通过一个或多个简单...
IDaaS“开发友好”设计
虽然有诸多企业身份管理的场景价值可通过简单的配置实现，中大型企业想要完整地使用 IDaaS 的价值，仍往往需要与 IDaaS 进行开发对接，以实现部分系统身份数据的识别和互通。我们深刻认识到“开发友好”对企业采用现代云身份服务的重要性。...
Redis数据迁移方案概览
迁移支持度 工具 支持的源库 支持的目标库 支持的架构 支持的迁移类型 DTS（推荐）自建Redis 2.8、3.0、3.2、4.0、5.0、6.0、7.0版本 云数据库Redis社区版 4.0、5.0、6.0、7.0版本 Tair（Redis企业版）云数据库Redis社区版 4.0、5.0、6.0、...
新建 OceanBase 数据源
新建数据源是创建数据迁移或数据同步项目的前提。本文为您介绍如何在数据传输中新建 OceanBase 数据源。操作步骤 登录 OceanBase 管理控制台。在左侧导航栏，单击 数据传输>数据源管理。在 数据源列表 页面，单击右上角的 新建数据源。在 ...
MySQL分库分表实践
背景信息 实际业务场景下数据同步通常不能通过一个或多个简单离线同步或者实时同步任务完成，而是由多个离线同步、实时同步和数据处理等任务组合完成，这就会导致数据同步场景下的配置复杂度非常高。尤其是在MySQL分库分表的场景下，上游的...
同步增量数据到MaxCompute
如果需要将 表格存储 中新增和变化的数据定期同步到MaxCompute中备份或者使用，您可以通过在DataWorks数据集成控制台新建和配置离线同步任务来实现周期性增量数据同步。前提条件 已新增 表格存储 数据源。具体操作，请参见 注意事项。已...
新建 PostgreSQL 数据源
新建数据源是创建数据迁移或数据同步项目的前提。本文为您介绍如何在数据传输中新建 PostgreSQL 数据源。前提条件 已创建 RDS PostgreSQL 实例。详情请参见 创建 RDS PostgreSQL 实例。重要 数据传输不支持 Serverless 模式实例和只读实例...
同步 OceanBase 数据库的数据至 RocketMQ
数据传输的数据同步功能可以帮助您实现 OceanBase 数据库的物理表和 RocketMQ 数据源之间的数据实时同步，扩展消息处理能力。同步 OceanBase 数据库的数据至 RocketMQ 时，两种租户对应的数据格式请参见 数据库传输到文本协议的格式说明。...
新建 Oracle 数据源
配置好数据源是创建数据迁移或数据同步项目的前提。本文为您介绍如何在数据传输中新建 Oracle 数据源。操作步骤 登录 OceanBase 管理控制台。在左侧导航栏，单击 数据传输>数据源管理。在 数据源列表 页面，单击右上角的 新建数据源。在 ...
方案概述
说明 RDS PostgreSQL一键升级至 PolarDB PostgreSQL版 通过逻辑迁移（DTS数据同步）方式实现。逻辑迁移（DTS数据同步）通过数据传输服务DTS，创建数据同步任务，将源RDS PostgreSQL实例的库表结构和全量数据同步至创建的 PolarDB ...
- 产品推荐
- 这些文档可能帮助您