配置跨库Spark SQL节点
任务编排中的跨库Spark SQL节点，主要针对各类跨库数据同步和数据加工场景，您可以通过编写Spark SQL，完成各种复杂的数据同步或数据加工的任务开发。前提条件 支持的数据库类型：MySQL：RDS MySQL、PolarDB MySQL版、MyBase MySQL、...
准备用于数据同步的数据库账号
无 双向同步任务对账号权限的要求 双向同步任务要求源和目标数据库具备如下权限，以允许DTS在源和目标数据库中创建库dts，用于做数据防循环复制。数据库 所需权限 创建及授权方式 RDS MySQL 高权限账号。创建数据库和账号。自建MySQL 待...
通过联邦分析同步数据
同步库表选择 您可以选择需要同步的数据库和数据表。默认同步源端所有的库表。重要 不支持同步无主键的表，无主键的表会被自动过滤。AnalyticDB MySQL 每个集群最多可创建2048个数据库。更多信息，请参见 使用限制。大表分区键设置 为了...
通过联邦分析功能同步至湖仓版
同步库表选择 您可以选择需要同步的数据库和数据表。默认同步源端所有的库表。重要 不支持同步无主键的表，无主键的表会被自动过滤。AnalyticDB MySQL 每个集群最多可创建2048个数据库。更多信息，请参见 使用限制。大表分区键设置 为了...
入仓解决方案
支持的数据库部署位置 有公网IP的自建数据库 无公网IP:Port的数据库（通过数据库网关DG接入）通过云企业网CEN接入的自建数据库 ECS上的自建数据库 通过专线/VPN网关/智能接入网关接入的自建数据库 ECS上的自建数据库 通过专线/VPN网关/智能...
同步方案概览
源为自建SQL Server或RDS SQL Server的同步方案 源为自建MongoDB或云数据库MongoDB的同步方案 源为自建Redis或云数据库Tair/Redis的同步方案 源为MariaDB的同步方案 源为TiDB的同步方案 源为Db2 for LUW的同步方案 源为Db2 for i（AS/400）...
数据同步方案概览
源为自建SQL Server或RDS SQL Server的同步方案 源为自建MongoDB或云数据库MongoDB的同步方案 源为自建Redis或云数据库Tair/Redis的同步方案 源为MariaDB的同步方案 源为Db2 for LUW的同步方案 源为Db2 for i（AS/400）的同步方案 源为数据...
创建数据库用户
您在使用数据传输的数据迁移和数据同步功能前，请先在源端和目标端数据库中，为数据迁移或同步任务创建专用的数据库用户。OceanBase 数据源 创建 OceanBase 数据库用户 此处创建的 OceanBase 数据库用户，用于创建 实例类型 为 VPC 内自建...
2023年
RDS MySQL实例间的同步 RDS MySQL实例间的迁移 2023年03月 类型 重点内容 相关文档 新增 RDS MySQL实例间的数据同步和迁移，支持同步或迁移源RDS MySQL实例中的数据库账号及权限。RDS MySQL实例间的同步 RDS MySQL实例间的迁移 迁移数据库...
CREATE[PUBLIC]DATABASE LINK
CREATE[PUBLIC]DATABASE LINK创建一个数据库连接。语法 CREATE[PUBLIC]DATABASE LINK<name>CONNECT TO { CURRENT_USER|<username>IDENTIFIED BY"<password>"} USING {()|'<oracle_connection_string>' } 参数说明 参数 说明 PUBLIC 创建...
数据迁移和同步方案概览
云数据库ClickHouse提供了多种数据迁移和同步方案，可满足不同业务场景下数据库的数据迁移和同步需求。使用场景 数据源 文档链接 从Kafka同步 Kafka 从Kafka同步 从Flink导入 Flink 从JDBC connector导入 从Flink SQL导入 从大数据导入/...
通过DMS管理数据库账号
语法：db.getCollection("system.users").find({db:"database_name"})参数说明：database_name 为目标数据库的名称。示例：db.getCollection("system.users").find({db:"admin"})返回结果如下：{ '_id':"admin.root",'userId':BinData(3,"b...
数据迁移和同步方案概览
云数据库MongoDB提供了多种数据迁移和同步方案，可满足不同业务场景下MongoDB数据库的数据迁移和同步需求。影响 如果实例的数据库小版本过期或不在维护列表内，当执行以下操作时，为保证提供更出色的性能和稳定性，系统会默认将您的数据库...
JindoCache概述
JindoCache（原JindoFSx）是阿里云EMR提供的用于加速云原生数据湖的一个服务。他提供了数据缓存和元数据缓存等加速功能，并根据...缓存策略 JindoCache支持数据缓存（包括分布式数据缓存、一致性哈希数据缓存和本地缓存）和元数据缓存功能。
产品功能
本文为您介绍云数据库Memcache的产品功能。分布式架构，单节点故障业务不受影响 云数据库Memcache版采用分布式集群架构，每个节点均由双机热备架构组成，具备自动容灾及故障迁移能力。多种规格可适配不同的业务压力，数据库性能支持无限...
使用MongoShake实现MongoDB实例间的单向同步
支持的数据源 源数据库 目标数据库 ECS上的自建MongoDB数据库 ECS上的自建MongoDB数据库 本地自建的MongoDB数据库 本地自建的MongoDB数据库 阿里云MongoDB实例 阿里云MongoDB实例 第三方云MongoDB数据库 第三方云MongoDB数据库 注意事项 在...
数据迁移与同步FAQ
本文为您列出数据迁移与数据同步的常见问题和相关解答。什么是数据迁移、数据同步？DTS的数据迁移与数据同步工作原理是什么？DTS的数据迁移与数据同步有什么区别？使用DTS遇到预检查报错，如何解决？什么是数据迁移、数据同步？数据迁移：...
2022年
支持的地域列表 迁移、同步或订阅本地数据库时需添加的IP白名单 2022年5月 类型 重点内容 相关文档 新增 支持Db2 for LUW到 云原生数据仓库 AnalyticDB MySQL 版 3.0的数据同步功能。Db2 for LUW同步至AnalyticDB MySQL版 3.0 新增 支持Db2...
创建和管理数据缓存
本文介绍数据缓存的配置参数以及如何创建、查询、更新、拷贝和删除数据缓存。创建数据缓存 创建方式如下：OpenAPI：调用CreateDataCache接口可以创建数据缓存。更多信息，请参见 CreateDataCache。控制台：在 弹性容器实例控制台 的 数据...
数据上云场景
数据库数据同步 数据库的数据同步到MaxCompute需要根据数据库的类型和同步策略来选择相应的工具。离线批量的数据库数据同步：可以选择DataWorks，支持的数据库种类丰富，包括MySQL、SQL Server、PostgreSQL等，详情请参见 通过向导模式配置...
购买DTS实例
关于支持的源库和目标库对应情况，请参见支持的 数据库、同步初始化类型和同步拓扑,支持的数据库和迁移类型。本参数或 JobId 必须传入其中之一。DestinationEndpointEngineName String 否 MySQL 目标数据库引擎类型。MySQL：MySQL数据库...
数据引入概述
Dataphin支持通过数据集成和数据同步的方式，将业务数据源的数据...数据集成支持通过整库迁移（快速生成批量同步任务）和一键生成目标表（同步到MaxCompute的数据无需手动建表）的方式，提高数据同步的效率。更多信息，请参见 数据集成概述。
数据引入概述
Dataphin支持通过数据集成和数据同步的方式，将业务数据源的数据...数据集成支持通过整库迁移（快速生成批量同步任务）和一键生成目标表（同步到MaxCompute的数据无需手动建表）的方式，提高数据同步的效率。更多信息，请参见 数据集成概述。
产品架构
此过程将持续下去，直到所有正在进行的数据变更都复制到目标数据库，并且源数据库和目标数据库完全同步。数据同步的工作原理 DTS可以在两个数据源之间同步正在进行的数据变更。数据同步通常用于OLTP到OLAP的数据传输。数据同步包括以下两个...
使用NimoShake将Amazon DynamoDB迁移至阿里云
NimoShake（又名DynamoShake）是阿里云研发的数据同步工具，您可以借助该工具将Amazon DynamoDB数据库迁移至阿里云。前提条件 已经创建阿里云MongoDB实例，详情请参见 创建副本集实例 或 创建分片集群实例。背景信息 本文档主要介绍...
ETL工具支持概览
支持的ETL工具见下，可以同时参见更详细的同步方案列表 数据迁移及同步方案综述：数据传输服务（DTS）：阿里云提供的实时数据同步服务，可以将其他数据源（RDS MySQL，ECS自建MySQL，PolarDB等）实时同步数据到 AnalyticDB PostgreSQL版，...
通用云盘IO加速功能技术介绍
在兼容ESSD云盘所有特性的基础上，通用云盘采用三级存储架构对不同类型的数据和缓存进行分级管理和读写，并且引入IO突发和IO加速功能，提升了RDS实例的IO性能。更多信息，请参见 什么是通用云盘。IO加速功能介绍 缓存池（Buffer Pool）作为...
IO加速
在兼容ESSD云盘所有特性的基础上，通用云盘采用三级存储架构对不同类型的数据和缓存进行分级管理和读写，并且引入IO突发和IO加速功能，提升了RDS实例的IO性能。更多信息，请参见 什么是通用云盘。IO加速功能介绍 功能简介 缓存池（Buffer ...
通用云盘IO加速功能
在兼容ESSD云盘所有特性的基础上，通用云盘采用三级存储架构对不同类型的数据和缓存进行分级管理和读写，并且引入IO突发和IO加速功能，提升了RDS实例的IO性能。更多信息，请参见 什么是通用云盘。IO加速功能介绍 功能简介 缓存池（Buffer ...
通用云盘IO加速功能
在兼容ESSD云盘所有特性的基础上，通用云盘采用三级存储架构对不同类型的数据和缓存进行分级管理和读写，并且引入IO突发和IO加速功能，提升了RDS实例的IO性能。更多信息，请参见 什么是通用云盘。IO加速功能介绍 功能简介 缓存池（Buffer ...
准备数据
进入业务流程开发面板，并向面板中拖入一个虚拟节点（start）和三个离线同步节点（电量下降趋势数据同步、窃电标志数据同步和指标数据同步）分别填写相应的配置后，单击 提交。拖拽连线将start节点设置为三个离线同步节点的上游节点。配置...
单向同步升级至双向同步
前提条件 数据同步任务的源和目标数据库实例为支持双向同步的数据库类型和版本。例如，源和目标数据库均为8.0版本的 MySQL。更多信息，请参见 同步方案概览。数据同步任务的同步拓扑为 单向同步。数据同步任务的状态为 运行中。费用说明 如...
修改告警
数据传输支持修改已启动告警监控功能的数据迁移和数据同步项目的告警监控设置。本文以数据迁移项目为例，为您介绍如何修改告警监控。操作步骤 登录 OceanBase 管理控制台。在左侧导航栏，单击 数据传输>数据迁移。如果您需要设置数据同步...
通过DataWorks导入
您需要在数据集成同步任务配置前，配置好您需要同步的源端和目标端数据库，以便在同步任务配置过程中，可通过选择数据源名称来控制同步任务的读取和写入数据库。同步任务支持的数据源及其配置详情请参见 支持的数据源及同步方案。说明 数据...
通过DataWorks导入数据
您需要在数据集成同步任务配置前，配置好您需要同步的源端和目标端数据库，以便在同步任务配置过程中，可通过选择数据源名称来控制同步任务的读取和写入数据库。同步任务支持的数据源及其配置详情请参见 支持的数据源及同步方案。说明 数据...
设置告警
数据传输支持对数据迁移和数据同步项目进行监控项的配置。项目创建完成后，您可以对单个项目设置告警监控，也可以选择多个项目进行批量操作。本文以数据迁移项目为例，为您介绍如何设置告警监控。背景信息 告警监控功能是数据传输重要的运...
计费方式
数据同步和数据订阅实例暂停期间仍然收取费用，这是由于即使实例处于暂停期间，DTS只是暂停向目标库写入数据，仍然会继续拉取源库的日志以便重启任务后快速恢复运行，因此还是会占用源数据库的带宽等资源。Serverless 数据同步实例 ...
Oracle数据导入
您需要在数据集成同步任务配置前，配置好您需要同步的源端和目标端数据库，以便在同步任务配置过程中，可通过选择数据源名称来控制同步任务的读取和写入数据库。同步任务支持的数据源及其配置详情请参见 支持的数据源及同步方案。说明 数据...
从RDS MySQL同步至Tablestore
如果源或目标数据库是ECS上的自建数据库，DTS会自动将对应地区DTS服务的IP地址添到ECS的安全规则中，您还需确保自建数据库没有限制ECS的访问（若数据库是集群部署在多个ECS实例，您需要手动将DTS服务对应地区的IP地址添到其余每个ECS的安全...
MongoDB 4.0
阿里云数据库MongoDB迁移至自建MongoDB数据库：逻辑备份恢复至自建数据库 物理备份恢复至自建数据库 单节点实例不支持通过逻辑备份或物理备份将阿里云数据库MongoDB实例数据迁移至自建MongoDB数据库。同步数据 功能 通用型云盘版 功能影响...
- 产品推荐
- 这些文档可能帮助您