配置跨库Spark SQL节点
name，trade_date,COUNT(*)cnt,SUM(amt)amt FROM mysql_db.sales t1 JOIN oracle_db.users t2 ON t1.emp_id=t2.id WHERE t1.trade_date=${bizdate} GROUP BY t2.dept_name 功能特性 跨库数据处理：支持使用SQL语句操作不同数据库中的数据，...
概述
OceanBase MySQL模式、OceanBase Oracle模式、自建OceanBase PolarDB PostgreSQL版（兼容Oracle）Oracle 达梦数据库 DB2 NoSQL：Lindorm 数据仓库：AnalyticDB MySQL版 AnalyticDB PostgreSQL版 DLA MaxCompute Hologres 对象存储：OSS ...
通过跨库Spark SQL任务将数据同步到OSS
前提条件 准备一个MySQL数据库作为在线库，用于存放订单表和商品表，且您拥有该数据库的查询权限。如需申请权限，请参见 DMS访问控制权限概述。创建一个OSS Bucket，并录入DMS中，用于存储数据。在DMS中录入OSS实例，请参见 录入对象存储...
客户案例
客户价值 百姓网通过数据库网关DG实现无需开通公网地址，即可将私网数据库跨云迁移，解决了本地IDC的私网环境数据库，无法直接被云产品访问的难题，保障了整个跨云迁移过程中的数据安全。借助数据库网关DG的压缩、多并发能力，实现长距离...
数据上云场景
数据库数据同步 数据库的数据同步到MaxCompute需要根据数据库的类型和同步策略来选择相应的工具。离线批量的数据库数据同步：可以选择DataWorks，支持的数据库种类丰富，包括MySQL、SQL Server、PostgreSQL等，详情请参见 通过向导模式配置...
从ECS上的自建MySQL同步至PolarDB MySQL版
说明 如果源或目标数据库是阿里云数据库实例（例如 RDS MySQL、云数据库MongoDB版 等）或ECS上的自建数据库，DTS会自动将对应地区DTS服务的IP地址添加到阿里云数据库实例的白名单或ECS的安全规则中，您无需手动添加，请参见 DTS服务器的IP...
从ECS上的自建MySQL同步至PolarDB MySQL版
注意事项 DTS在执行全量数据初始化时将占用源库和目标库一定的读写资源，可能会导致数据库的负载上升，在数据库性能较差、规格较低或业务量较大的情况下（例如源库有大量慢SQL、存在无主键表或目标库存在死锁等），可能会加重数据库压力，...
原理架构
系统架构 数据同步服务的逻辑架构图：全量同步：负责将表数据从源端数据库同步到目的端数据库，支持异构数据库间同步。增量同步：负责将源端的增量数据同步到目的端，主要包含 Store 和 JDBCWriter 两个组件。存储：采集源端 DB 的变更到...
从PolarDB MySQL版同步到Kafka
数据库账号 填入 PolarDB MySQL版 集群的数据库账号，需要具备待同步数据库的读权限。数据库密码 填入该数据库账号的密码。目标实例信息 实例类型 根据Kafka集群的部署位置选择，本文以 ECS上的自建数据库 为例介绍配置流程。说明 当选择为...
从PolarDB MySQL版同步到Kafka
数据库账号 填入 PolarDB MySQL版 集群的数据库账号，需要具备待同步数据库的读权限。数据库密码 填入该数据库账号的密码。目标实例信息 实例类型 根据Kafka集群的部署位置选择，本文以 ECS上的自建数据库 为例介绍配置流程。说明 当选择为...
从RDS同步至自建Kafka集群
通过数据传输服务DTS（Data Transmission Service），您可以将 RDS MySQL 或RDS MySQL Serverless 的数据库同步至自建Kafka集群，扩展消息处理能力。前提条件 Kafka集群的版本为0.10.1.0~2.7.0版本。已创建 RDS MySQL实例 或 Serverless...
用户权限说明
OceanBase 数据库 MySQL 租户作为源端的权限说明 OceanBase 数据库 MySQL 租户作为源端时，迁移/同步用户需要如下权限：目标端为 Kafka、DataHub 和 RocketMQ 等消息队列类型时，需要对源端待同步数据库具备 SELECT 权限。目标端为 MySQL ...
USE
背景信息 PolarDB-X 支持访问同一 PolarDB-X 实例下的多个不同的数据库，就如同单机MySQL的跨数据库查询。通常，PolarDB-X 登录时需要指定一个DB_NAME作为默认数据库。您可以使用USE语句动态切换当前Schema，方便同时管理多个数据库。语法 ...
USE
背景信息 PolarDB-X 1.0 支持访问同一 PolarDB-X 1.0 实例下的多个不同的数据库，就如同单机MySQL的跨数据库查询。通常，PolarDB-X 1.0 登录时需要指定一个DB_NAME作为默认数据库。您可以使用USE语句动态切换当前Schema，方便同时管理多个...
DescribeSynDbTables-查看同步数据库与表
查看同步数据库与表。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 当前API暂无授权信息透出。请求参数 名称 类型 必填 描述 示例值 ...
ETL工具支持概览
支持的ETL工具见下，可以同时参见更详细的同步方案列表 数据迁移及同步方案综述：数据传输服务（DTS）：阿里云提供的实时数据同步服务，可以将其他数据源（RDS MySQL，ECS自建MySQL，PolarDB等）实时同步数据到 AnalyticDB PostgreSQL版，...
通过整库迁移配置集成任务
离线整库迁移可用于将本地数据中心或在ECS上自建的数据库同步数据至大数据计算服务，包括MaxCompute、Hive、TDH Inceptor等数据源。本文为您介绍如何新建并配置整库迁移任务。前提条件 已完成所需迁移的数据源创建。整库迁移支持MySQL、...
通过整库迁移配置集成任务
离线整库迁移可用于将本地数据中心或在ECS上自建的数据库同步数据至大数据计算服务，包括MaxCompute、Hive、TDH Inceptor等数据源。本文为您介绍如何新建并配置整库迁移任务。前提条件 已完成所需迁移的数据源创建。整库迁移支持MySQL、...
概述
全球数据库网络（Global Database Network，简称GDN）是由分布在同一个国家内多个地域的多个 PolarDB 集群组成的网络。本文将介绍GDN特性等详情。GDN网络中所有集群的数据保持同步，网络中每个集群均提供读服务（写服务会被转发到主集群...
Redis数据同步方案概览
借助数据传输服务DTS...Redis企业版实例间的双向同步 跨云账号单向同步云数据库Redis实例 自建库间同步 DTS 从通过专线、VPN网关或智能接入网关接入的自建Redis同步至ECS上的自建Redis 相关文档 数据迁移与同步FAQ Redis数据迁移方案概览
JDBC数据源
指定同步数据库 以下参数和指定同步数据库有关：only_specified_database：在通过JDBC连接时可以指定连接到哪个Database或Schema。如：MySQL的 jdbc_url 中可以指定Database，PostgreSQL的 jdbc_url 中可以指定currentSchema。include_...
技术架构
本文介绍全球数据库网络（Global Database Network，简称GDN）的技术架构。图 1.GDN架构 跨地域部署 ⼀个主集群（Primary），其他为从集群（Secondary)，多个 PolarDB 集群之间数据保持同步。说明 当前一个GDN中包含一个主集群和最多四个从...
数据同步方案概览
云原生关系型数据库PolarDB 提供了多种数据同步方案，可满足不同的业务同步需求，使您可以在不影响业务的情况下平滑的实现引擎间的数据同步。通过使用阿里云 数据传输服务（DTS），您可以实现 PolarDB 的实时同步。数据同步 使用场景 文档...
配置资源组与网络连通
在数据同步任务配置前，您需要确保用于执行同步任务的独享数据集成资源组与您将要同步的数据来源端与目的端数据库的网络连通性，您可以根据数据库所在网络环境，选择合适的网络解决方案来实现网络连通。本文为您介绍数据库在不同网络环境中...
自建PostgreSQL同步到云原生数据仓库AnalyticDB ...
如果源或目标数据库是阿里云数据库实例（例如 RDS MySQL、云数据库MongoDB版 等），DTS会自动将对应地区DTS服务的IP地址添加到阿里云数据库实例的白名单中；如果源或目标数据库是ECS上的自建数据库，DTS会自动将对应地区DTS服务的IP地址添...
整库离线同步至MaxCompute
您需要在数据集成同步任务配置前，配置好您需要同步的源端和目标端数据库，以便在同步任务配置过程中，可通过选择数据源名称来控制同步任务的读取和写入数据库。同步任务支持的数据源及其配置详情请参见 支持的数据源及同步方案。说明 数据...
整库离线同步至MaxCompute
您需要在数据集成同步任务配置前，配置好您需要同步的源端和目标端数据库，以便在同步任务配置过程中，可通过选择数据源名称来控制同步任务的读取和写入数据库。同步任务支持的数据源及其配置详情请参见 支持的数据源与读写能力。说明 数据...
整库离线同步至Elasticsearch
您需要在数据集成同步任务配置前，配置好您需要同步的源端和目标端数据库，以便在同步任务配置过程中，可通过选择数据源名称来控制同步任务的读取和写入数据库。同步任务支持的数据源及其配置详情请参见 支持的数据源及同步方案。说明 数据...
下载和导入同步对象配置
重要 数据库至数据库的数据同步项目中，仅选择 指定对象 方式时，支持导入对象。导入对象配置 数据传输支持通过导入 CSV 文件的方式进行设置行过滤条件、设置过滤列和设置分片列等操作。您可以下载已有项目的对象配置信息或 CSV 文件模板，...
一键实时同步至AnalyticDB for MySQL 3.0
数据集成附加字段支持的变量字段如下：EXECUTE_TIME：执行时间 UPDATE_TIME：更新时间 DB_NAME_SRC：原始数据库名称 DB_NAME_SRC_TRANSED：转换后数据库名称 DATASOURCE_NAME_SRC：源端数据源名称 DATASOURCE_NAME_DEST：目的端数据源名称 ...
自建PostgreSQL同步到云原生数据仓库AnalyticDB ...
如果源或目标数据库是ECS上的自建数据库，DTS会自动将对应地区DTS服务的IP地址添到ECS的安全规则中，您还需确保自建数据库没有限制ECS的访问（若数据库是集群部署在多个ECS实例，您需要手动将DTS服务对应地区的IP地址添到其余每个ECS的安全...
DescribeSynDbs-查看同步db
7655F5F9-1313-5ABA-8516-F6EB79605A5F SynDbs object[]同步数据。RdsId string 云数据库 RDS MySQL 的实例 ID。rm-wz9d11qg1j0h4*SynDb string 云数据库 RDS MySQL 的数据库。database SynStatus boolean 同步是否成功，取值说明：true：...
RDS PostgreSQL同步至AnalyticDB for PostgreSQL
如果源或目标数据库是ECS上的自建数据库，DTS会自动将对应地区DTS服务的IP地址添到ECS的安全规则中，您还需确保自建数据库没有限制ECS的访问（若数据库是集群部署在多个ECS实例，您需要手动将DTS服务对应地区的IP地址添到其余每个ECS的安全...
从RDS PostgreSQL同步至云原生数据仓库AnalyticDB ...
如果源或目标数据库是阿里云数据库实例（例如 RDS MySQL、云数据库MongoDB版 等），DTS会自动将对应地区DTS服务的IP地址添加到阿里云数据库实例的白名单中；如果源或目标数据库是ECS上的自建数据库，DTS会自动将对应地区DTS服务的IP地址添...
使用DataWorks（离线与实时）
最佳实践 数据库整库离线同步至MaxCompute 整库离线同步至MaxCompute OSS数据离线同步至MaxCompute EMR Hive数据整库离线同步至MaxCompute 数据库增量数据离线同步至MaxCompute RDS增量数据同步至MaxCompute Kafka增量数据同步至MaxCompute...
如何迁移到DBFS？
一般存在以下几种常用的方式：主备同步：搭建主备库，通过binary log同步数据到自建于DBFS上的数据库。DTS：使用阿里云产品DTS，将数据迁移到自建于DBFS上的数据库。备份恢复：通过备份的方式，将数据库恢复到DBFS上，拉起数据库，同步最新...
从ECS上的自建MySQL同步至RDS
注意事项 DTS在执行全量数据初始化时将占用源库和目标库一定的读写资源，可能会导致数据库的负载上升，在数据库性能较差、规格较低或业务量较大的情况下（例如源库有大量慢SQL、存在无主键表或目标库存在死锁等），可能会加重数据库压力，...
一键实时同步至Hologres
数据集成附加字段支持的变量字段如下：EXECUTE_TIME：执行时间 UPDATE_TIME：更新时间 DB_NAME_SRC：原始数据库名称 DB_NAME_SRC_TRANSED：转换后数据库名称 DATASOURCE_NAME_SRC：源端数据源名称 DATASOURCE_NAME_DEST：目的端数据源名称 ...
从RDS PostgreSQL同步至云原生数据仓库AnalyticDB ...
如果源或目标数据库是ECS上的自建数据库，DTS会自动将对应地区DTS服务的IP地址添到ECS的安全规则中，您还需确保自建数据库没有限制ECS的访问（若数据库是集群部署在多个ECS实例，您需要手动将DTS服务对应地区的IP地址添到其余每个ECS的安全...
整库离线同步至OSS
您需要在数据集成同步任务配置前，配置好您需要同步的源端和目标端数据库，以便在同步任务配置过程中，可通过选择数据源名称来控制同步任务的读取和写入数据库。同步解决方案支持的数据源及其配置详情请参见 支持的数据源与读写能力。说明 ...
- 产品推荐
- 这些文档可能帮助您