常见问题
读取MaxCompute（ODPS）表数据时，如何同步多个分区数据？如何处理表列名有关键字导致同步任务失败的情况？读取Loghub同步某字段有数据但是同步过来为空 读取Loghub同步少数据。读取Loghub字段映射时读到的字段不符合预期。读取kafka配置了...
数据同步概述
Dataphin支持通过数据同步的方式，将业务数据源的数据引入Dataphin平台。背景说明 如果您是在 2020年4月之后 购买的Dataphin，则数据同步能力通过数据集成功能实现（即系统 不再提供数据同步的功能入口）。数据集成为您提供简单高效、安全...
数据同步概述
Dataphin支持通过数据同步的方式，将业务数据源的数据引入Dataphin平台。背景说明 如果您是在 2020年4月之后 购买的Dataphin，则数据同步能力通过数据集成功能实现（即系统 不再提供数据同步的功能入口）。数据集成为您提供简单高效、安全...
实时同步常见问题
如果选择忽略TRUNCATE，可能会导致进行实时数据同步时出现多的数据。如何提高实时同步的速度和性能？如果同步写入速度较慢，可以适当增加写入端并发数，调整JVM参数，JVM参数与同步库数量无关，和变更频率有关。在当前资源组机器允许情况下...
MaxCompute数据源
读取MaxCompute（ODPS）表数据时，如何同步多个分区数据？MaxCompute如何实现列筛选、重排序和补空等 MaxCompute列配置错误的处理 MaxCompute分区配置注意事项 MaxCompute任务重跑和failover 更多其他数据集成常见问题请参见 数据集成常见...
灾备方案介绍
跨地域容灾方案★由多个子实例构成全球分布式实例，所有子实例通过同步通道保持实时数据同步，由通道管理器负责子实例的健康状态监测、主备切换等等异常事件的处理，适用于异地灾备、异地多活、应用就近访问、分摊负载等场景。单可用区高可...
API概览
SyncInstanceMeta 同步实例下所有数据库的元数据 调用SyncInstanceMeta同步实例下所有数据库字典元数据。SyncDatabaseMeta 同步数据库元数据 同步数据库字典元数据。工单操作 API 标题 API概述 通用 通用 CreateOrder 创建工单 创建工单。...
启动和暂停数据同步项目
启动数据同步项目 创建数据同步项目时，如果在预检查完成后仅保存该数据同步项目，未进行启动，则需要在同步项目列表中手动启动数据同步项目。登录 OceanBase 管理控制台。在左侧导航栏，单击 数据传输>数据同步。在 同步项目列表 页面，...
场景：配置分库分表离线同步任务
DataWorks支持通过向导模式或脚本模式配置离线同步任务，您可以将分库分表数据同步至目标单表。本文以同步MySQL分库分表数据为例进行说明。前提条件 已准备好要同步的多个数据源，详情请参见 支持的数据源与读写插件。背景信息 分库分表...
使用数据传输同步数据
操作步骤 说明 本文以同步 OceanBase 数据库的数据至 Kafka 为例，更多详情请参见 数据同步 模块的内容。登录 OceanBase 管理控制台，购买数据同步项目。详情请参见 购买数据同步项目。在 数据传输>数据同步 页面，单击新购买的数据同步...
数据库分组
若您需要在SQL变更或结构设计中快速载入多个数据库，可以创建一个数据库分组，将多个数据库环境、引擎类型相同的数据库绑定成为一个分组。本文介绍如何创建数据库分组。背景信息 当您的业务部署在多个地域，且存在多个数据库时，您每次做...
自建PostgreSQL同步到云原生数据仓库AnalyticDB ...
注意事项 一个数据同步作业只能同步一个数据库，如果有多个数据库需要同步，则需要为每个数据库创建数据同步作业。在数据同步的过程中，如果要将源库中创建的新表作为同步对象，您需要对该表执行如下操作以保障该表数据同步的一致性。ALTER...
查看数据同步项目的详情
启动数据同步项目后，您可以在数据同步项目的详情页面查看相应项目的基本信息、同步详情和同步对象等信息。进入详情页面 登录 OceanBase 管理控制台。在左侧导航栏，单击 数据传输>数据同步。单击目标数据同步项目的名称，进入详情页面，...
自建PostgreSQL同步到云原生数据仓库AnalyticDB ...
注意事项 一个数据同步作业只能同步一个数据库，如果有多个数据库需要同步，则需要为每个数据库创建数据同步作业。在数据同步的过程中，如果要将源库中创建的新表作为同步对象，您需要对该表执行如下操作以保障该表数据同步的一致性。ALTER...
数据同步流程
数据传输提供数据同步功能，帮助您实现数据源之间的数据实时同步。适用于数据异地多活、数据异地灾备、数据聚合和实时数据仓库等多种业务场景。您可以参考以下流程进行同步前的准备工作、以及购买、配置和管理数据同步项目。完成准备工作。...
引用和清空数据同步项目配置
本文为您介绍如何引用和清空已有数据同步项目的配置。引用项目配置 重要 目前处于 未配置 状态的数据同步项目支持 引用配置 操作。登录 OceanBase 管理控制台。在左侧导航栏，单击 数据传输>数据同步。在 数据同步 页面，单击未配置的目标...
离线同步数据质量排查
背景信息 讲述数据集成数据同步的原理机制，理解数据同步的过程，进而对数据同步的执行效果有判断能力，判断数据同步效果具体包括：数据同步的数据量、目标端数据实际数量等。同步原理 DataWorks数据集成的同步任务在执行时称之为一个Job，...
从PolarDB-X同步至AnalyticDB for PostgreSQL
因此您需要在执行数据同步前评估源库和目标库的性能，同时建议您在业务低峰期执行数据同步（例如源库和目标库的CPU负载在30%以下）。数据同步期间，请勿对 PolarDB-X 执行扩容、缩容、迁移热点表、变更拆分键和变更DDL等操作，否则将导致...
迁移 TiDB 数据库的数据至 OceanBase 数据库 MySQL ...
Kafka 集群会保存 TiCDC 工具转换的 TiDB 数据库的增量日志信息，以便数据传输在执行增量数据同步时，从 Kafka 集群中获取相应数据并实时迁移数据至 OceanBase 数据库 MySQL 租户。如果您在新建 TiDB 数据源时，未绑定 Kafka 数据源，将...
从RDS PostgreSQL同步至云原生数据仓库AnalyticDB ...
注意事项 一个数据同步作业只能同步一个数据库，如果有多个数据库需要同步，则需要为每个数据库创建数据同步作业。在数据同步的过程中，如果要将源库中创建的新表作为同步对象，您需要对该表执行如下操作以保障该表数据同步的一致性。ALTER...
RDS PostgreSQL同步至AnalyticDB for PostgreSQL
注意事项 一个数据同步作业只能同步一个数据库，如果有多个数据库需要同步，则需要为每个数据库创建数据同步作业。在数据同步的过程中，如果要将源库中创建的新表作为同步对象，您需要对该表执行如下操作以保障该表数据同步的一致性。ALTER...
从RDS PostgreSQL同步至云原生数据仓库AnalyticDB ...
注意事项 一个数据同步作业只能同步一个数据库，如果有多个数据库需要同步，则需要为每个数据库创建数据同步作业。在数据同步的过程中，如果要将源库中创建的新表作为同步对象，您需要对该表执行如下操作以保障该表数据同步的一致性。ALTER...
同步方案概览
数据同步功能帮助您实现数据源之间的数据实时同步，适用于数据异地多活、数据异地灾备、本地数据灾备、跨境数据同步、云BI及实时数据仓库等多种业务场景。本文将介绍数据同步功能支持的数据库、同步类型和同步拓扑。说明 数据同步在某些...
申请跨境数据同步权限
数据传输服务DTS（Data Transmission Service）默认仅支持非跨境的数据同步任务，若您需要创建跨境（跨国家或地区）的数据同步任务，需要申请开通跨境同步的权限。例如，创建从中国内地到非中国内地地域的同步任务时，需要申请跨境同步的...
数据同步操作指导
数据同步功能可以帮助您实现数据源之间的数据实时同步，适用于数据异地多活、数据异地灾备、本地数据灾备、跨境数据同步、查询与报表分流、云BI及实时数据仓库等多种业务场景。本文介绍数据同步功能的具体使用流程，帮助您快速掌握创建、...
下载和导入同步对象配置
数据传输支持下载数据同步项目的同步对象配置信息，并支持通过导入 CSV 文件的方式实现自动配置和确认同步对象的配置信息，以实现保存项目配置信息和批量、快速配置项目。下载对象配置 新建数据同步项目后，您可以下载同步对象的配置信息。...
创建与释放全球多活数据库集群
执行数据同步前需评估源库和目标库的性能，同时建议业务低峰期执行数据同步。否则全量数据初始化时将占用源库和目标库一定的读写资源，可能会导致数据库的负载上升。全量初始化会并发执行INSERT操作，导致目标数据库的表产生碎片，因此全量...
Redis数据同步方案概览
借助数据传输服务DTS（Data Transmission Service），云数据库Redis版 为您提供了丰富数据同步方案，可适用于同步上云、数据异地多活、数据容灾、数据分析等多种业务场景。DTS介绍 DTS 是阿里云提供的实时数据流服务，集数据迁移、订阅、...
从PolarDB-X同步至云原生数据仓库 AnalyticDB MySQL ...
如果需要让部分表执行多表归并，另一部分不执行多表归并，您可以创建两个数据同步作业。同步操作类型 根据业务选中需要同步的操作类型，默认情况下都处于选中状态。Insert Update Delete 选择同步对象 在 源库对象 框中单击待同步的表，...
自定义配置 DDL/DML
本文为您介绍配置数据迁移或数据同步项目时，如何自定义配置增量同步中的 DDL 和 DML 同步。背景信息 您在配置数据迁移或数据同步项目时，如果在 选择迁移类型 或 选择同步类型 步骤选择了 增量同步，则会默认支持 DML 同步，您可以自定义...
购买数据同步项目
本文为您介绍如何购买云数据库 OceanBase 数据传输服务提供的数据同步项目。背景信息 目前数据同步项目仅支持预付费模式，即包年包月计费模式。您可以根据本文操作购买相应类型的数据同步项目后，再对项目进行具体配置和管理。数据同步项目...
PolarDB PostgreSQL版（兼容Oracle）集群间的单向同步
一个数据同步作业只能同步一个数据库，如有多个数据库需要同步，您需要为每个数据库配置数据同步作业。为保障同步延迟时间展示的准确性，DTS会在源库中新增一个表，表名为 dts_postgres_heartbeat，结构及内容如下图所示。在数据同步过程中...
操作流程
数据同步主要内容包括数据源配置、获取物理表、创建同步任务三方面。本文介绍数据同步的操作流程。流程图 流程说明 流程 说明 配置数据源 配置数据同步的源端和目标端。数据同步的源端，是数据同步任务的起点。数据同步目标端是同步的终点...
通过DataWorks实现MaxCompute跨项目迁移
本例中，需要补数据的日期分区为2019年6月11日到17日，您可以直接选择业务日期，进行多个分区的数据同步。完成设置后，单击 确定。说明 您可以根据自己的业务需求，设置业务日期。在 周期任务运维>补数据实例 页面，您可以查看补数据实例...
从PolarDB PostgreSQL版（兼容Oracle）集群同步至自建...
一个数据同步作业只能同步一个数据库，如有多个数据库需要同步，您需要为每个数据库配置数据同步作业。为保障同步延迟时间展示的准确性，DTS会在源库中新增一个表，表名为 dts_postgres_heartbeat，结构及内容如下图所示。若源库有长事务，...
通过DataWorks实现MaxCompute跨项目迁移
本例中，需要补数据的日期分区为2019年6月11日到17日，您可以直接选择业务日期，进行多个分区的数据同步。完成设置后，单击 确定。说明 您可以根据自己的业务需求，设置业务日期。在 周期任务运维>补数据实例 页面，您可以查看补数据实例...
操作流程
数据同步主要内容包括数据源配置、获取物理表、创建同步任务三方面。本文介绍数据同步的操作流程。流程图 流程说明 流程 说明 配置数据源 配置数据同步的源端和目标端。数据同步的源端，是数据同步任务的起点。数据同步目标端是同步的终点...
功能特性
迁移数据库账号 数据同步 数据同步功能帮助您实现数据源之间的数据实时同步，适用于数据异地多活、数据异地灾备、本地数据灾备、跨境数据同步、云BI及实时数据仓库等多种业务场景 功能集 功能 功能描述 参考文档 同步链路管理 一键反向容灾...
数据同步
数据同步提供批量、实时多源异构数据的便捷同步或接入能力，系统提供完善的数据接入配置、任务运行监控等功能，有效保障数据接入的稳定性和可控性，满足各类平台、数据源及应用系统间的数据汇聚需求。同时支持对存储在基于ArcGIS、超图等...
功能简介
数据同步为用户提供批量、实时多源异构数据的便捷同步或接入能力，系统提供完善的数据接入配置、任务运行监控等功能，有效保障数据接入的稳定性和可控性，满足各类平台、数据源及应用系统间的数据汇聚需求。同时支持对存储在基于ArcGIS、...
- 产品推荐
- 这些文档可能帮助您