通过任务编排实现跨库数据同步
本文通过在任务编排中创建跨库Spark任务，实现了定期将在线库中的订单表和商品表同步到数据仓库中进行数据分析，并将分析结果回流在线库中供管理者查询。前提条件 准备一个MySQL数据库作为在线库，用于存放订单表和商品表，且您拥有该数据...
配置跨库Spark SQL节点
任务编排中的跨库Spark SQL节点，主要针对各类跨库数据同步和数据加工场景，您可以通过编写Spark SQL，完成各种复杂的数据同步或数据加工的任务开发。...相关文档 通过任务编排实现跨库数据同步 通过跨库Spark SQL任务将数据同步到OSS
概述
OceanBase MySQL模式、OceanBase Oracle模式、自建OceanBase PolarDB PostgreSQL版（兼容Oracle）Oracle 达梦数据库 DB2 NoSQL：Lindorm 数据仓库：AnalyticDB MySQL版 AnalyticDB PostgreSQL版 DLA MaxCompute Hologres 对象存储：OSS ...
通过跨库Spark SQL任务将数据同步到OSS
如果您需要将分析结果同步回在线库，请参见 通过任务编排实现跨库数据同步。操作步骤 准备工作。新增跨库Spark SQL任务。配置跨库Spark SQL任务。发布跨库Spark SQL任务。准备工作 在线库MySQL中创建订单表、商品表。登录 数据管理DMS 5.0...
概述
PolarDB PostgreSQL版（兼容Oracle）提供了数据库链接DBLink（Database Link）功能，用于实现跨库访问数据。在数据库A中创建到数据库B的DBLink后，通过DBLink，数据库A可以像访问自己的数据一样访问数据库B的数据。DBLink的访问是单向的，...
使用DBLink跨库查询数据
PolarDB PostgreSQL版（兼容Oracle）提供了DBLink功能，您可以通过DBLink功能实现跨库查询数据。本文介绍如何通过DBLink跨库查询数据。前提条件 已创建源集群和目标集群。具体操作，请参见 创建PolarDB PostgreSQL版（兼容Oracle）集群。...
数据方案概览
空库初始化 支持将源数据库的表结构同步至空数据库中，实现快速同步数据库表结构。表一致性修复 用于对比不同表之间的表结构，找出差异并在目标表执行差异脚本，以保障不同表之间的表结构一致性 无锁结构变更 可以较好地规避因锁表以致于...
仓库同步
Codeup 支持触发第三方源代码仓库数据同步，实现业务逐渐从旧系统平滑迁移。前提条件 同步代码将强制覆盖当前库的内容，不受保护分支等规则限制，可能涉及数据的大量变更，因此同步功能目前仅允许仓库管理员执行，关于如何设置仓库管理员，...
空库初始化
数据管理DMS 的空库初始化功能支持将源数据库的表结构同步至空数据库中（数据库中不存在任何表），实现快速同步数据库表结构，适用部署多区域、多单元的数据库环境。前提条件 支持的数据库类型如下：MySQL：RDS MySQL、PolarDB MySQL版、...
USE
背景信息 PolarDB-X 支持访问同一 PolarDB-X 实例下的多个不同的数据库，就如同单机MySQL的跨数据库查询。通常，PolarDB-X 登录时需要指定一个DB_NAME作为默认数据库。您可以使用USE语句动态切换当前Schema，方便同时管理多个数据库。语法 ...
数据上云场景
数据库数据同步 数据库的数据同步到MaxCompute需要根据数据库的类型和同步策略来选择相应的工具。离线批量的数据库数据同步：可以选择DataWorks，支持的数据库种类丰富，包括MySQL、SQL Server、PostgreSQL等，详情请参见 通过向导模式配置...
从ECS上的自建MySQL同步至PolarDB MySQL版
说明 如果源或目标数据库是阿里云数据库实例（例如 RDS MySQL、云数据库MongoDB版 等）或ECS上的自建数据库，DTS会自动将对应地区DTS服务的IP地址添加到阿里云数据库实例的白名单或ECS的安全规则中，您无需手动添加，请参见 DTS服务器的IP...
USE
背景信息 PolarDB-X 1.0 支持访问同一 PolarDB-X 1.0 实例下的多个不同的数据库，就如同单机MySQL的跨数据库查询。通常，PolarDB-X 1.0 登录时需要指定一个DB_NAME作为默认数据库。您可以使用USE语句动态切换当前Schema，方便同时管理多个...
从ECS上的自建MySQL同步至PolarDB MySQL版
为避免该问题，您可以在数据同步配置时将该表所属的整个数据库作为同步对象，且确保RENAME TABLE操作前后的表所属的数据库均在同步对象中。TRUNCATE TABLE 功能限制 不兼容触发器 当同步对象为整个库，且库中的触发器（TRIGGER）会更新库内...
API概览
本产品（云数据库 ClickHouse 版/2019-11-11）的OpenAPI采用 RPC 签名风格，签名细节参见 签名机制说明。我们已经为开发者封装了常见编程语言的SDK，开发者可通过 下载SDK 直接调用本产品OpenAPI而无需关心技术细节。如果现有SDK不能满足...
从RDS同步至自建Kafka集群
通过数据传输服务DTS（Data Transmission Service），您可以将 RDS MySQL 或RDS MySQL Serverless 的数据库同步至自建Kafka集群，扩展消息处理能力。前提条件 Kafka集群的版本为0.10.1.0~2.7.0版本。已创建 RDS MySQL实例 或 Serverless...
从PolarDB MySQL版同步到Kafka
说明 如果源或目标数据库是阿里云数据库实例（例如 RDS MySQL、云数据库MongoDB版 等）或ECS上的自建数据库，DTS会自动将对应地区DTS服务的IP地址添加到阿里云数据库实例的白名单或ECS的安全规则中，您无需手动添加，请参见 DTS服务器的IP...
从PolarDB MySQL版同步到Kafka
如果源或目标数据库是ECS上的自建数据库，DTS会自动将对应地区DTS服务的IP地址添到ECS的安全规则中，您还需确保自建数据库没有限制ECS的访问（若数据库是集群部署在多个ECS实例，您需要手动将DTS服务对应地区的IP地址添到其余每个ECS的安全...
用户权限说明
数据传输迁移数据库前，请确保所有数据源已创建一个数据库用户作为迁移用户或同步用户。该用户需要具备源端和目标端数据源对应的权限。OceanBase 数据库 MySQL 租户作为源端的权限说明 OceanBase 数据库 MySQL 租户作为源端时，迁移/同步...
不同阿里云账号下RDS实例间的数据同步
注意事项 DTS在执行全量数据初始化时将占用源库和目标库一定的读写资源，可能会导致数据库的负载上升，在数据库性能较差、规格较低或业务量较大的情况下（例如源库有大量慢SQL、存在无主键表或目标库存在死锁等），可能会加重数据库压力，...
功能特性
创建同步Fc 同步OSS 同步Datahub中的数据至OSS指定的文件对象中 创建同步OSS 同步TableStore 同步Datahub中的数据至TableStore指定的具体表中 创建同步TableStore 同步数据库 同步Datahub中的数据至RDS/MySQL/ADS3.0指定的具体表中 创建...
数据同步概述
背景说明 如果您是在 2020年4月之后 购买的Dataphin，则数据同步能力通过数据集成功能实现（即系统 不再提供数据同步的功能入口）。数据集成为您提供简单高效、安全可靠的数据同步平台。更多信息，请参见 数据集成概述。重要 因数据同步...
数据同步概述
背景说明 如果您是在 2020年4月之后 购买的Dataphin，则数据同步能力通过数据集成功能实现（即系统 不再提供数据同步的功能入口）。数据集成为您提供简单高效、安全可靠的数据同步平台。更多信息，请参见 数据集成概述。重要 因数据同步...
DescribeSynDbTables-查看同步数据库与表
查看同步数据库与表。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 当前API暂无授权信息透出。请求参数 名称 类型 必填 描述 示例值 ...
不同阿里云账号下RDS实例间的数据同步
注意事项 DTS在执行全量数据初始化时将占用源库和目标库一定的读写资源，可能会导致数据库的负载上升，在数据库性能较差、规格较低或业务量较大的情况下（例如源库有大量慢SQL、存在无主键表或目标库存在死锁等），可能会加重数据库压力，...
跨阿里云账号同步RDS MySQL实例
数据传输服务DTS（Data Transmission Service）支持对不同阿里云账号下的RDS MySQL实例配置数据同步，实现跨阿里云账号的数据同步。本文为您介绍如何创建源和目标库实例均跨账号的同步实例。前提条件 已创建源和目标RDS MySQL实例，创建...
接入 Android
使用 SDK 在 10.1.32 及以上版本基线中，mPaaS 中间层的 MPSync 类封装了数据同步组件所有 API，通过调用 MPSync 对象即可实现数据同步的所有功能。您可以通过下表快速了解数据同步的相关 API。更多关于 API 的详细信息，参见 Android 接口...
通过整库迁移配置集成任务
离线整库迁移可用于将本地数据中心或在ECS上自建的数据库同步数据至大数据计算服务，包括MaxCompute、Hive、TDH Inceptor等数据源。本文为您介绍如何新建并配置整库迁移任务。前提条件 已完成所需迁移的数据源创建。整库迁移支持MySQL、...
通过整库迁移配置集成任务
离线整库迁移可用于将本地数据中心或在ECS上自建的数据库同步数据至大数据计算服务，包括MaxCompute、Hive、TDH Inceptor等数据源。本文为您介绍如何新建并配置整库迁移任务。前提条件 已完成所需迁移的数据源创建。整库迁移支持MySQL、...
JDBC数据源
指定同步数据库 以下参数和指定同步数据库有关：only_specified_database：在通过JDBC连接时可以指定连接到哪个Database或Schema。如：MySQL的 jdbc_url 中可以指定Database，PostgreSQL的 jdbc_url 中可以指定currentSchema。include_...
资源组操作及网络连通
操作前，您可以先根据 配置资源组与网络连通 文档，选择对应的网络连通解决方案，连通方案核心点为：如果您使用公网同步跨地域（Region）的数据库，您需要将独享资源组本身的EIP添加到数据库白名单列表中，详情请参见：使用独享数据集成...
跨阿里云账号备份恢复数据
数据库备份DBS 支持对阿里云云数据库（例如RDS、Redis、MongoDB、PolarDB等）及通过专线/VPN网关/智能网关接入的自建数据库进行跨账号的逻辑备份和恢复。本文以RDS MySQL为例，介绍如何使用DBS进行跨阿里云账号的数据备份和恢复。前提条件 ...
产品优势
数据库网关提供安全，可靠，低成本的数据...全生态服务 通过数据库网关，各种数据库产品将逐步接入，实现跨云和云上云下的全生态服务（如数据库迁移、容灾、跨库JOIN、数据分析、数据安全等能力），让您享受云端数据库产品带来的一致性服务。
新建 Kafka 数据源
配置好数据源是创建数据迁移或数据同步项目的前提。本文为您介绍如何在数据传输中新建 Kafka 数据源。使用限制 数据传输仅支持 Kafka 数据源作为数据同步的目标端。背景信息 数据传输的安全问题，贯穿服务连通性验证、链路创建和数据传输...
fdw和dblink插件实现跨库查询
dblink插件实现跨库查询 提示：当在ECS实例上自建Postgres数据库时，dblink插件不支持不同实例间的跨库查询。登录RDS PostgreSQL实例，执行如下SQL语句，创建dblink插件。create extension dblink;执行如下SQL语句，创建到远程库的连接。...
新建 OceanBase 数据源
建议您为数据迁移或同步项目创建单独的数据库用户。详情请参见 创建 OceanBase MySQL 集群实例用户及授权 或 创建 OceanBase Oracle 集群实例用户及授权。密码 OceanBase 数据库用户的密码。备注（可选）数据源的备注信息。oceanbase_inner...
新建 MySQL 数据源
用户名 用于数据迁移或数据同步的 MySQL 数据库用户名称。建议您为迁移或同步项目创建单独的数据库用户。密码 数据库用户的密码。Database Name MySQL 数据库的名称。说明 如果您配置了 Database Name，当数据源作为源端时，数据迁移项目仅...
新建 Oracle 数据源
用户名 用于数据迁移或数据同步的 Oracle 数据库用户名称。建议您为迁移或同步项目创建单独的数据库用户。密码 数据库用户的密码。Schema Name Oracle 数据库的 Schema 名称。说明 如果您配置了 Schema Name，当数据源作为源端时，数据迁移...
应用场景
异地灾备与异地多活是全球数据库网络（Global Database Network，简称GDN）中两种典型的应用场景。本文介绍这两种典型场景的业务架构及部署流程。异地灾备 通过异地灾备实现跨地域高可用，提升数据安全性和系统可用性。当发生机房或数据...
新建 TiDB 数据源
如果未勾选该项，创建 TiDB 数据库至 OceanBase 数据库 MySQL 租户的数据迁移项目时，迁移类型无法选择 增量同步。TiDB 数据格式 迁移 TiDB 数据库的数据至 OceanBase 数据库 MySQL 租户时，您可以选择 TiCDC 或 TiDB Binlog 格式的数据，...
- 产品推荐
- 这些文档可能帮助您