数据引入层（ODS）
数据同步加载与处理 ODS的数据需要由各数据源系统同步到MaxCompute，才能用于进一步的数据开发。本教程建议您使用DataWorks数据集成功能完成数据同步，详情请参见 数据集成概述。在使用数据集成的过程中，建议您遵循以下规范：一个系统的源...
升级实例配置
升级生效期间增量数据迁移与数据同步会出现5秒左右的延迟，请在业务低峰期操作。费用说明 包年包月实例 升级费用=（升级后实例每天的价格-升级前实例每天的价格）×升级当天到服务到期日的剩余天数。说明 升级后实例每天的价格根据升级当天...
通用数据开发
通常数据开发的总体流程包括数据产生、数据收集与存储、数据分析与处理、数据提取和数据展现与分享。说明 上图中，虚线框内的开发流程均可基于阿里云大数据平台完成。数据开发的流程如下所示：数据产生：业务系统每天会产生大量结构化的...
数据上传下载成本优化
合理预估VPC带宽 当数据在IDC机房时，如果您需要通过专线同步数据到MaxCompute，请预估带宽，平衡数据同步与带宽之间的成本。例如，50 TB数据上云，同步1天，预估需要5 GB带宽。带宽的计算方式为 50（TB）×1024（GB）×8（bit）/（24...
通过联邦分析同步数据
联邦分析使用 AnalyticDB MySQL 的免费高速数据管道服务（APS）将 PolarDB MySQL中的 数据实时同步至 AnalyticDB MySQL 湖仓版（3.0）集群中，帮助您一站式完成数据同步与管理。本文介绍如何通过联邦分析将 PolarDB MySQL中的数据同步至 ...
通过联邦分析功能同步至湖仓版
联邦分析使用 AnalyticDB MySQL 的免费高速数据管道服务（APS）将 PolarDB MySQL中的 数据实时同步至 AnalyticDB MySQL 湖仓版（3.0）集群中，帮助您一站式完成数据同步与管理。本文介绍如何通过联邦分析将 PolarDB MySQL中的数据同步至 ...
自动同步PolarDB-X元数据
当您需要 一站式完成 PolarDB分布式版 数据同步与管理时，可以在 PolarDB分布式版 实例中开通列存引擎并绑定目标 湖仓版（3.0）集群。相较于其他数据同步方案，一站式方案同步数据成本低、简单易用、能实时同步数据，可实现真正的实时分析...
ODS层设计规范
数据加载与处理 通过一键实时同步至MaxCompute方案实现，请参见 配置查看数据同步任务。命名规范 表命名规范 表命名规则：{层次}{源系统表名}{保留位/delta与否}。增量数据：{project_name}.s{源系统表名}delta。全量数据：{project_name}....
使用DataWorks（离线与实时）
场景3：导入其他数据源数据至MaxCompute 同步能力说明 DataWorks 数据集成 支持将其他数据源的数据同步至MaxCompute，例如将RDS等数据库的数据同步至MaxCompute，针对不同的同步场景，数据同步原理与能力支持不一致。DataWorks离线同步为您...
常见问题
数据库和DataWorks不在同一个地域（Region）下，进行数据同步时如何保障数据库与DataWorks的网络连通？数据库和DataWorks不在同一个阿里云账号下，进行数据同步时如何保障数据库与DataWorks的网络连通？访问VPC环境下的数据库测试连通性...
SQL Server数据源
SQL Server数据源为您提供读取和写入SQL Server双向通道的功能，本文为您介绍DataWorks的SQL Server数据同步的能力支持情况。支持的版本 SQL Server Reader使用驱动版本是com.microsoft.sqlserver sqljdbc4 4.0，驱动能力具体请参见 官网...
PostgreSQL数据源
数据同步前准备：PostgreSQL环境准备 在DataWorks上进行数据同步前，您需要参考本文提前在PostgreSQL侧进行数据同步环境准备，以便在DataWorks上进行PostgreSQL数据同步任务配置与执行时服务正常。以下为您介绍PostgreSQL同步前的相关环境...
实时同步常见问题
实时同步字段格式问题 数据集成实时同步在同步MySQL、Oracle、Loghub和PolarDB类型的数据至DataHub或Kafka时，会在同步的目标端添加5个附加列，以进行元数据管理、排序去重等操作。详情请参见 实时同步字段格式。为什么实时同步任务延迟较...
DataHub数据源
本文为您介绍DataWorks的DataHub数据同步的能力支持情况。支持的版本 DataHub Reader通过DataHub的Java SDK读取DataHub中的数据，具体使用的Java SDK版本，如下所示。groupId>...
操作指南
相关文档请参考下表：数据库引擎 文档 PolarDB MySQL版 管理集群 管理数据库 数据迁移 数据同步 备份与恢复 性能监控 其他更多操作请参见 用户指南。PolarDB PostgreSQL版 管理集群 管理数据库 数据迁移 备份与恢复 其他更多操作请参见 ...
常见问题
本文汇总了 云数据库ClickHouse 的常见问题及解决方案。选型与购买 云数据库ClickHouse和官方版本对比多了哪些功能和特性？购买实例时，推荐选择哪一个版本？单双副本实例各有什么特点？购买链路资源时显示“当前区域资源不足”，应该如何...
Redis数据同步方案概览
借助数据传输服务DTS（Data Transmission Service），云数据库Redis版 为您提供了丰富数据同步方案，可适用于同步上云、数据异地多活、数据容灾、数据分析等多种业务场景。DTS介绍 DTS 是阿里云提供的实时数据流服务，集数据迁移、订阅、...
数据迁移和同步方案概览
云数据库MongoDB支持使用阿里云自研的MongoShake工具，实现MongoDB数据库间的数据同步。不同同步场景下数据同步的方法如下。同步场景 同步工具 文档链接 实例间同步 DTS 云数据库MongoDB版（副本集架构）同步至云数据库MongoDB版（副本集...
ApsaraDB For OceanBase数据源
数据同步前准备 在DataWorks上进行数据同步前，您需要参考本文提前在ApsaraDB For OceanBase侧进行数据同步环境准备，以便在DataWorks上进行ApsaraDB For OceanBase数据同步任务配置与执行时服务正常。以下为您介绍ApsaraDB For OceanBase...
GBase8a数据源
GBase8a数据源为您提供读取和写入GBase8a双向通道的功能，本文为您介绍DataWorks的GBase8a数据同步的能力支持情况。使用限制 目前Gbase8a Reader和Gbase8a Writer仅支持使用 新增和使用独享数据集成资源组。insert into.：当主键或唯一性...
Vertica数据源
Vertica是一款基于列存储的MPP架构的数据库，Vertica数据源为您提供读取和写入Vertica双向通道的功能，本文为您介绍DataWorks的Vertica数据同步的能力支持情况。支持的版本 Vertica Reader通过Vertica数据库驱动访问Vertica，您需要确认...
MariaDB数据源
不支持 数据同步前准备：MariaDB环境准备 在DataWorks上进行数据同步前，您需要参考本文提前在MariaDB侧进行数据同步环境准备，以便在DataWorks上进行MariaDB数据同步任务配置与执行时服务正常。以下为您介绍MariaDB同步前的相关环境准备。...
什么是数据传输服务DTS
功能特性 功能 介绍 相关文档 数据同步 实现数据源之间的数据实时同步，适用于数据异地多活、数据异地灾备、本地数据灾备、跨境数据同步、查询与报表分流、云BI及实时数据仓库等多种业务场景。同步方案概览 数据同步功能特性 数据迁移 实现...
HybridDB for MySQL数据源
HybridDB for MySQL数据源为您提供读取和写入HybridDB for MySQL的双向功能，本文为您介绍DataWorks的HybridDB for MySQL数据同步能力支持情况。使用限制 离线同步支持读取视图表。HybridDB for MySQL Reader插件支持读取表和视图。表字段...
数据迁移与同步FAQ
本文为您列出数据迁移与数据同步的常见问题和相关解答。什么是数据迁移、数据同步？DTS的数据迁移与数据同步工作原理是什么？DTS的数据迁移与数据同步有什么区别？使用DTS遇到预检查报错，如何解决？什么是数据迁移、数据同步？数据迁移：...
AnalyticDB for MySQL 3.0数据源
AnalyticDB for MySQL 3.0数据源为您提供读取和写入 AnalyticDB for MySQL 3.0双向通道的功能，本文为您介绍DataWorks的AnalyticDB for MySQL 3.0数据同步的能力支持情况。使用限制 ADB湖仓版数据源不支持在公共资源组配置以及运行同步任务...
Redis数据迁移方案概览
云数据库Redis间迁移 DTS 云数据库Redis实例间单向数据迁移 跨云账号迁移云数据库Redis实例 从第三方云迁移至云数据库Redis DTS 使用DTS将华为云分布式缓存服务Redis迁移至阿里云 相关文档 数据迁移与同步FAQ Redis数据同步方案概览 ...
Memcache（OCS）数据源
Memcache（原名OCS）数据源为您提供其它数据源向Memcache写入数据的功能，目前仅支持脚本模式配置同步任务，本文为您介绍DataWorks的Memcache（OCS）数据同步的能力支持情况。使用限制 当前仅支持使用脚本模式将数据写入Memcache（OCS）。...
数据同步操作指导
数据同步功能可以帮助您实现数据源之间的数据实时同步，适用于数据异地多活、数据异地灾备、本地数据灾备、跨境数据同步、查询与报表分流、云BI及实时数据仓库等多种业务场景。本文介绍数据同步功能的具体使用流程，帮助您快速掌握创建、...
数据传输作业：数据集成
同步解决方案 实际业务场景下，数据同步通常不能通过一个或多个简单离线同步或者实时同步任务完成，而是由多个离线同步、实时同步和数据处理等任务组合完成，这就会导致数据同步场景下的配置复杂度非常高。为了解决上述问题，DataWorks提出...
SAP HANA数据源
SAP HANA数据源为您提供读取和写入SAP HANA双向通道的功能，本文为您介绍DataWorks的SAP HANA数据同步的能力支持情况。使用限制 离线同步支持读取视图表。目前该数据源仅支持 独享数据集成资源组。支持的字段类型 SAP HANA Reader针对SAP ...
KingbaseES（人大金仓）数据源
KingbaseES数据源为您提供读取和写入KingbaseES双向通道的功能，本文为您介绍DataWorks的KingbaseES数据同步的能力支持情况。使用限制 目前该数据源仅支持 独享数据集成资源组。整个同步任务必须具备 insert/replace into 的权限。配置同步...
数据集成概述
但在进行上述网络环境下的数据同步前，您需要确保数据集成用于执行数据同步的资源组与您将同步的数据来源端与目标端网络环境的连通，数据集成支持您根据数据源所在网络环境，选择对应的网络同步任务，关于网络连通方案选择与配置资源组与...
PolarDB数据源
是 无 splitPk PolarDB Reader进行数据抽取时，如果指定 splitPk，表示您希望使用splitPk代表的字段进行数据分片，数据同步因此会启动并发任务进行数据同步，从而提高数据同步的效能。推荐 splitPk 用户使用表主键，因为表主键通常情况下...
通过一键建仓同步至数仓版
您可以通过一键建仓将PolarDB MySQL实例中的数据同步到 AnalyticDB MySQL 集群中，快速创建PolarDB MySQL数据仓库。适用范围 一键创建数据仓库仅适用于 AnalyticDB MySQL版 数仓版（3.0）集群。前提条件 已创建PolarDB MySQL集群。更多信息...
通过一键建仓同步至数仓版
您可以在 AnalyticDB MySQL版 控制台上通过一键建仓将一个或多个RDS MySQL实例中的数据同步到 AnalyticDB MySQL 集群中，快速创建RDS MySQL数据仓库。适用范围 一键创建数据仓库仅适用于 AnalyticDB MySQL版 数仓版（3.0）集群。前提条件 ...
同步方案选取指南
当您在使用关系型数据库（RDS）遇到查询慢的问题时，可将RDS中的数据同步至阿里云Elasticsearch进行查询分析。阿里云Elasticsearch是一个基于Lucene的实时分布式的搜索与分析引擎，可近乎于准实时地存储、查询和分析超大数据集。您可以通过...
实时同步能力说明
DataWorks为您提供的实时数据同步功能，方便您使用单表或整库同步方式，将源端数据库中部分或全部表的数据变化实时同步至目标数据库中，实现目标库实时保持和源库的数据对应。使用限制 实时同步不支持在数据开发界面运行任务，您需要保存、...
资源组操作及网络连通
数据同步网络连通问题 在做离线同步时，我们需要先了解哪些DataWorks及其网络能力？同步ECS自建的数据库的数据时，如何保障数据库与DataWorks的网络连通？数据库和DataWorks不在同一个地域（Region）下，进行数据同步时如何保障数据库与...
使用数据传输同步数据
数据同步能够保持源端和目标端的数据一致性，实现关键业务的数据实时流动。本文以同步 OceanBase 数据库的数据至 Kafka 为例，介绍如何使用数据传输同步数据。前提条件 在同步数据之前，您需要确认以下信息：数据传输已具备云资源访问权限...
- 产品推荐
- 这些文档可能帮助您