一键实时同步至MaxCompute
操作流程 步骤一：选择同步方案 步骤二：配置网络连通 步骤三：设置同步来源与规则 步骤四：设置目标表 步骤五：DDL消息处理策略 步骤六：设置任务运行资源 步骤七：执行同步任务 步骤一：选择同步方案 创建同步解决方案任务，根据需求选择...
一键实时同步至MaxCompute
操作流程 步骤一：选择同步方案 步骤二：配置网络连通 步骤三：设置同步来源与规则 步骤四：设置目标表 步骤五：DDL消息处理策略 步骤六：设置任务运行资源 步骤七：执行同步任务 步骤一：选择同步方案 创建同步解决方案任务，根据需求选择...
应用场景
解决方案：数据融合：通过数据引入功能，将业务系统数据集成、融合一体，统一基础数据。数据建模：通过规范建模功能，结合业务发展需求，自顶向下设计标准的数据模型，统一公共数据。数据生产：基于建模后系统代码自动化托管生产功能，快速...
ETL工具支持概览
数据迁移及同步方案综述：数据传输服务（DTS）：阿里云提供的实时数据同步服务，可以将其他数据源（RDS MySQL，ECS自建MySQL，PolarDB等）实时同步数据到 AnalyticDB PostgreSQL版，构建实时数据仓库解决方案。阿里云的数据集成服务（Data ...
MySQL一键实时同步至MaxCompute
创建同步解决方案任务，选择需要同步的源端数据源MySQL，目标端数据源MaxCompute，并选择 一键实时同步至MaxCompute 方案。配置网络连通。源端选择已创建的数据源 doc_mysql1，目标数据源为DataWorks工作空间引擎绑定的默认数据源，并测试...
MySQL一键实时同步至MaxCompute
创建同步解决方案任务，选择需要同步的源端数据源MySQL，目标端数据源MaxCompute，并选择 一键实时同步至MaxCompute 方案。配置网络连通。源端选择已创建的数据源 doc_mysql1，目标数据源为DataWorks工作空间引擎绑定的默认数据源，并测试...
同步方案概览
全量数据同步 增量数据同步 单向同步 RDS MySQL同步至自建Oracle PolarDB-X 1.0 全量数据同步 增量数据同步 单向同步 从RDS MySQL同步至PolarDB-X PolarDB-X 2.0 库表结构同步 全量数据同步 增量数据同步 单向同步 RDS MySQL同步至PolarDB-...
ClickHouse整库数据离线同步至Hologres
创建同步解决方案任务，选择需要同步的源端数据源ClickHouse，目标端数据源Hologres，并选择 整库离线同步 方案。配置网络连通。源端选择已创建的ClickHouse数据源，目标数据源为已创建的Hologres数据源，同步资源组选择已创建的独享数据...
数据同步操作指导
背景知识 同步方案概览 介绍数据同步功能支持的数据库、同步初始化类型和同步拓扑，以及配置步骤。结构初始化涉及的数据类型映射关系 由于不同的数据库支持的数据类型不一样，数据类型无法完全对应。DTS在执行结构初始化时，会根据目标库...
MySQL整库实时同步至OSS数据湖
创建同步解决方案任务，选择需要同步的源端数据源MySQL，目标端数据源OSS，并选择 整库实时入湖 方案。配置网络连通。源端选择已创建的MySQL数据源，目标数据源为已创建的OSS数据源，同步资源组选择已创建的独享数据集成资源组，单击 测试...
整库离线同步至Elasticsearch
编辑目标索引 同步解决方案默认根据源端生成目标索引结构，可能存在字段类型转换，即若目标端数据库中没有与源端一致的数据类型时，同步任务在自动创建目标索引时，将自动为源端字段匹配目标端可写入的字段类型。支持您单击 Elasticsearch...
整库离线同步至MaxCompute
操作流程 步骤一：选择同步方案 步骤二：配置网络连通 步骤三：设置同步来源与规则 步骤四：设置目标表 步骤五：同步规则设置 步骤六：运行资源设置 步骤七：执行同步任务 步骤一：选择同步方案 创建同步解决方案任务，根据需求选择需要...
一键实时同步至AnalyticDB for MySQL 3.0
NAME_DEST：目的端数据库名称 TABLE_NAME_DEST：目的端表名称 TABLE_NAME_SRC：源端表名称 编辑目标表 同步解决方案默认根据源端生成目标表结构，可能存在字段类型转换，即若目标端数据库中没有与源端一致的数据类型时，同步任务在自动创建...
整库离线同步至MaxCompute
操作流程 步骤一：选择同步方案 步骤二：配置网络连通 步骤三：设置同步来源与规则 步骤四：设置目标表 步骤五：同步规则设置 步骤六：运行资源设置 步骤七：执行同步任务 步骤一：选择同步方案 创建同步解决方案任务，根据需求选择需要...
一键实时同步至Elasticsearch
编辑目标索引 同步解决方案默认根据源端生成目标索引结构，可能存在字段类型转换，即若目标端数据库中没有与源端一致的数据类型时，同步任务在自动创建目标索引时，将自动为源端字段匹配目标端可写入的字段类型。支持您单击 Elasticsearch...
数据迁移与同步FAQ
更多信息，请参见 Redis数据同步方案概览。使用DTS遇到预检查报错，如何解决？DTS在执行数据迁移或数据同步任务之前，会对源库和目标执行预检查以确保任务可以正常运行。关于如何排查预检查的报错，请参见 修复数据迁移预检查失败的问题 和...
解决方案
数据资源平台中的数据标准、数据模型、数据加工场景、数据服务API、云计算资源配置等资产，经过验证最终可沉淀为一个特定的解决方案。支持通过不同的创建方式，灵活的选择解决方案中包含的内容。依托数据资源平台中管理的大量元数据，确保...
功能简介
数据资源平台中的数据标准、数据模型、数据加工场景、数据服务API、云计算资源配置等资产，经过验证最终可沉淀为一个特定的解决方案。支持通过不同的创建方式，灵活的选择解决方案中包含的内容。依托数据资源平台中管理的大量元数据，确保...
一键实时同步至Hologres
步骤三：设置同步来源与规则 在 基本配置 区域，配置同步解决方案的名称、任务存放位置等信息。在 数据来源 区域，确认需要同步的源端数据源相关信息。在 选择同步的源表 区域，选中需要同步的 源表，单击 图标，将其移动至 已选源表。该...
一键实时同步至DataHub
操作流程 步骤一：选择同步方案 步骤二：配置网络连通 步骤三：设置同步来源与规则 步骤四：设置目标Topic 步骤五：运行资源设置 步骤六：执行同步任务 步骤一：选择同步方案 创建同步解决方案任务，根据需求选择需要同步的源端数据源和...
混合云解决方案
场景说明 ApsaraDB for SQL Server混合云解决方案用于实现本地SQL Server服务与RDS SQL Server服务之间的数据传输或者同步。利用SQL Server复制技术实现数据的同步，其典型应用场景就是写数据在本地，读数据在RDS SQL Server。方案架构 ...
离线同步能力说明
离线同步模块仅支持单表或分库分表数据离线同步至目标端单表，若您需要将多库多表数据同步至目标端多表，您可使用 同步解决方案 中的整库离线同步。更多关于同步方案选择，请参见：选择同步方案概述。离线同步任务配置 您可以通过以下方式...
数据库安全解决方案
本文介绍云数据库、DTS（数据迁移上云）、DMS（数据安全管理）、DBS（数据备份）几个产品实现企业数据资产的安全管理解决方案，避免数据泄露、删库跑路等恶性事件的出现。详情参考：数据库安全解决方案。
一键实时同步至Kafka
操作流程 步骤一：选择同步方案 步骤二：配置网络连通 步骤三：设置同步来源与规则 步骤四：设置目标Topic 步骤五：运行资源设置 步骤六：执行同步任务 步骤一：选择同步方案 创建同步解决方案任务，根据需求选择需要同步的源端数据源和...
数据集成侧同步任务配置
完成数据源、网络、资源的准备配置后，您可以根据同步场景选择同步解决方案，创建并执行同步任务，将源端数据同步至目标端。本文为您介绍同步任务的通用配置流程，不同的同步方案配置流程可能存在差异，对应方案配置详情请以界面为准。前提...
计费逻辑说明
其他费用 同步解决方案创建的任务，可能会产生由数据同步任务相关配置引起的费用和账单。说明 例如，同步任务涉及的上下游数据库、计算引擎系统计算和存储费用、网络服务费用（如高速通道、共享带宽、EIP）等，此类费用不在DataWorks收取，...
PostgreSQL数据源
PostgreSQL数据源为您提供读取和写入PostgreSQL双向通道的功能，方便您后续可以通过向导模式和脚本模式配置数据同步任务。本文为您介绍DataWorks的PostgreSQL数据同步能力支持情况。支持的版本 目前仅支持配置PostgreSQL数据源为PostgreSQL...
PolarDB PostgreSQL版（兼容Oracle）集群间的单向同步
重要 当同步对象包含触发器时可能导致数据不一致，解决方案请参见 源库存在触发器时如何配置同步作业。全量数据初始化 DTS会将源库中同步对象的存量数据，全部同步至目标PolarDB集群。重要 在同步启动运行后，请勿对同步对象执行DDL操作，...
单向同步升级至双向同步
前提条件 数据同步任务的源和目标数据库实例为支持双向同步的数据库类型和版本。例如，源和目标数据库均为8.0版本的 MySQL。更多信息，请参见 同步方案概览。数据同步任务的同步拓扑为 单向同步。数据同步任务的状态为 运行中。费用说明 如...
Oracle数据导入
本文介绍如何通过DataWorks将Oracle数据导入至 AnalyticDB MySQL版 湖仓版（3.0）或 数仓版（3.0）。前提条件 已完成数据源配置。您需要在数据集成同步任务配置前，配置好您...创建数据同步任务。具体操作，请参见 数据集成侧同步任务配置。
在工作空间创建数据源或注册集群
工作空间创建完成后，您需要先将您的数据库或数据仓库，通过创建数据源的方式添加至DataWorks工作空间，或将您的集群注册至DataWorks工作空间，以便进行数据同步、数据分析与开发、数据调度等操作。本文主要以使用正式开发环境为例，为您...
通过DataWorks导入
本文介绍如何通过DataWorks将MaxCompute数据导入至 AnalyticDB MySQL版 湖仓版（3.0）或 数仓版（3.0）。前提条件 已完成数据源配置。您需要在数据集成同步任务配置前，配置好...创建数据同步任务。具体操作，请参见 数据集成侧同步任务配置。
通过DataWorks导入数据
本文介绍如何通过DataWorks将OSS数据导入至 AnalyticDB MySQL版 湖仓版（3.0）或 数仓版（3.0）。前提条件 已完成数据源配置。您需要在数据集成同步任务配置前，配置好您需要...创建数据同步任务。具体操作，请参见 数据集成侧同步任务配置。
应用场景
实时数据分析场景解决方案 步骤如下：实时摄入：通过直接读取Kafka数据来实现。提供了Flink-Connector来支持Flink数据流的直接写入，并保证了exactly-once语义。此外，还支持Flink CDC来捕捉TP数据更新，并实时地将结果更新到StarRocks中。...
常见问题
同步解决方案常见问题 MySQL一键同步至Hologres中decimal（7，4）数据类型转换成了numeric（38，18），正常吗？一键实时同步至MaxCompute时,分表是否可以同步到同一张表里?一键实时全增量同步任务中，实时同步时修改源表字段是否会导致报错...
方案概述
逻辑迁移（DTS数据同步）通过数据传输服务DTS，创建数据同步任务，将源RDS PostgreSQL实例的库表结构和全量数据同步至创建的 PolarDB PostgreSQL版 集群中，然后保持增量数据同步。升级方案优势 一键升级功能具有如下优势：可保留数据库原...
资源组操作及网络连通
数据同步网络连通问题 在做离线同步时，我们需要先了解哪些DataWorks及其网络能力？同步ECS自建的数据库的数据时，如何保障数据库与DataWorks的网络连通？数据库和DataWorks不在同一个地域（Region）下，进行数据同步时如何保障数据库与...
数据集成：全领域数据汇聚
支持在各类复杂网络环境下，连通数据源的网络解决方案，无论数据源在公网、IDC还是VPC内，均可使用DataWorks数据集成实现网络连通。支持安全控制与运维监控，保障数据同步的安全、可控。核心技术与架构 引擎架构 采用星形引擎架构，数据源...
一键克隆RDS MySQL至PolarDB MySQL版
逻辑迁移（DTS数据同步）方式：通过数据传输服务DTS，创建数据同步任务，将源RDS MySQL实例的库表结构和全量数据同步至创建的 PolarDB MySQL版 集群中。物理迁移（物理复制）和逻辑迁移（DTS数据同步）方式区别如下：对比项 物理迁移（物理...
迁移工具
将MySQL数据同步迁移到表格存储 将HBase数据同步到表格存储 将MaxCompute数据同步到表格存储 将表格存储数据同步到MaxCompute 将表格存储数据同步迁移到OSS 将表格存储数据表中数据同步到另一个数据表 将表格存储时序表中数据同步到另一个...
- 产品推荐
- 这些文档可能帮助您