使用须知
Tunnel 您可以使用Tunnel服务向MaxCompute批量上传离线数据或从MaxCompute下载离线数据。Java SDK 向开发者提供的Java接口。Python SDK 向开发者提供的Python接口。如果您是项目Owner或管理员 如果您是一个项目的Owner（创建和使用项目）或...
MySQL数据源
MySQL数据源为您提供读取和写入MySQL的双向通道，本文为您介绍DataWorks的MySQL数据同步的能力支持情况。支持的MySQL版本 离线读写：支持MySQL 5.5.x、MySQL 5.6.x、MySQL 5.7.x、MySQL 8.0.x，兼容 Amazon RDS for MySQL、Azure MySQL。离...
通过脚本模式配置离线同步任务
当您需要实现更精细化的配置管理时，您可以使用脚本模式配置离线同步任务，通过编写数据同步的JSON脚本并结合DataWorks调度参数使用，将源端单表或分库分表的全量或增量数据周期性同步至目标数据表。本文为您介绍脚本模式配置离线同步任务...
通过DataWorks导入数据
DataWorks提供了可视化的数据导入方式，相对于通过外表导入，DataWorks导入的方式更为轻量化，适合数据量相对较小的数据导入场景。本文介绍如何通过DataWorks将RDS SQL Server数据导入至 AnalyticDB MySQL版 湖仓版（3.0）或 数仓版（3.0）...
通过DataWorks导入数据
DataWorks提供了可视化的数据导入方式，相对于通过外表导入，DataWorks导入的方式更为轻量化，适合数据量相对较小的数据导入场景。本文介绍如何通过DataWorks将 PolarDB分布式版（原DRDS）的数据导入至 AnalyticDB MySQL版 湖仓版（3.0）或...
采集数据
本教程以MySQL中的用户基本信息（ods_user_info_d）表及OSS中的网站访问日志数据（user_log.txt）文件，通过数据集成离线同步任务分别同步至MaxCompute的ods_user_info_d、ods_raw_log_d表为例，为您介绍如何通过DataWorks数据集成实现异构...
采集数据
本教程以MySQL中的用户基本信息（ods_user_info_d）表及OSS中的网站访问日志数据（user_log.txt）文件，通过数据集成离线同步任务分别同步至MaxCompute的ods_user_info_d、ods_raw_log_d表为例，为您介绍如何通过DataWorks数据集成实现异构...
他云/自建数据库录入
注意事项 若需要通过数据管理DMS管理实例，请在创建实例时需根据实际需求设置数据库账号权限，具体授权语法可参考各数据库类型对应的官网文档。具体权限说明如下：如需管理实例下的所有数据库，授权范围为整个实例的所有库。如需管理实例的...
通过向导模式配置离线同步任务
数据集成提供向导式的开发引导，您无需编写任何代码，通过在界面勾选数据来源与去向，并结合DataWorks调度参数，实现将源端单表或分库分表的全量或增量数据周期性同步至目标数据表。本文为您介绍向导模式配置离线同步任务的常规配置，各...
常见问题
资源组操作及网络连通 在做离线同步时，我们需要先了解哪些DataWorks及其网络能力？同步ECS自建的数据库的数据时，如何保障数据库与DataWorks的网络连通？数据库和DataWorks不在同一个地域（Region）下，进行数据同步时如何保障数据库与...
数据传输服务（上传）场景与工具
数据同步服务：您可以通过 数据集成（DataWorks）任务，提取、转换、加载（ETL）数据到MaxCompute。数据投递：您可以通过DataHub、SLS、Kafka版服务的MaxCompute Sink Connector、Blink 将数据投递至MaxCompute。开源工具及插件：您可以...
数据集成
DataWorks数据集成支持复杂网络环境下的数据同步，您可在数据开发（DataStudio）界面直接 创建离线同步节点，用于离线（批量）数据周期性同步；实时同步任务运维，用于单表或整库增量数据实时同步。本文为您介绍数据同步的相关内容。背景...
PolarDB-X 2.0数据源
PolarDB-X 2.0数据源为您提供读取和写入PolarDB-X 2.0的双向通道，本文为您介绍DataWorks的PolarDB-X 2.0数据同步的能力支持情况。使用限制 PolarDB-X 2.0数据源仅支持使用 独享数据集成资源组。支持的版本 离线读写：支持PolarDB-X 2.0，...
HybridDB for MySQL数据源
HybridDB for MySQL数据源为您提供读取和写入HybridDB for MySQL的双向功能，本文为您介绍DataWorks的HybridDB for MySQL数据同步能力支持情况。使用限制 离线同步支持读取视图表。HybridDB for MySQL Reader插件支持读取表和视图。表字段...
MaxCompute数据离线同步至ClickHouse
本文以MaxCompute离线同步写入ClickHouse场景为例，为您介绍ClickHouse离线同步在数据源配置、网络联通、同步任务配置方面的最佳实践。背景信息 云数据库ClickHouse是面向联机分析处理的列式数据库。数据集成支持从ClickHouse同步数据到...
创建同步任务
背景信息 在DataWorks中，通常通过数据集成功能，定期导入系统中产生的业务数据至工作区。SQL任务进行计算后，再定期导出计算结果至您指定的数据源中，以便进一步展示或运行使用。目前数据集成功能支持从RDS、MySQL、SQL Server、...
DataHub通过数据集成批量导入数据
本文以Stream同步数据至DataHub的脚本模式为例，为您介绍如何通过数据集成导入离线DataHub数据。前提条件 准备阿里云账号，并创建账号的访问密钥。详情请参见 开通DataWorks服务。开通MaxCompute，自动产生一个默认的MaxCompute数据源，并...
创建Hologres数据源
数据源编码 配置数据源编码后，您可以在Flink_SQL任务中通过 数据源编码.表名称 或 数据源编码.schema.表名称 的格式引用数据源中的表；如果需要根据所处环境自动访问对应环境的数据源，请通过${数据源编码}.table 或${数据源编码}.schema....
OSS数据离线同步至MaxCompute
本文以OSS离线同步写入MaxCompute场景为例，为您介绍OSS离线同步在数据源配置、网络联通、同步任务配置方面的最佳实践。背景信息 阿里云对象存储OSS（Object Storage Service）是一款海量、安全、低成本、高可靠的云存储服务，提供99....
日志服务通过数据集成投递数据
本文将以LogHub数据同步至MaxCompute为例，为您介绍如何通过数据集成功能同步LogHub数据至数据集成已支持的目的端数据源（例如MaxCompute、OSS、Tablestore、RDBMS和DataHub等）。前提条件 准备好相关的数据源，详情请参见 创建MaxCompute...
OSS数据离线同步至MaxCompute
本文以OSS离线同步写入MaxCompute场景为例，为您介绍OSS离线同步在数据源配置、网络联通、同步任务配置方面的最佳实践。背景信息 阿里云对象存储OSS（Object Storage Service）是一款海量、安全、低成本、高可靠的云存储服务，提供99....
数据集成概述
您需要确保数据集成用于执行数据同步的资源组与您将同步的数据来源端与目标端网络环境的连通，数据集成支持您根据数据源所在网络环境，选择对应的网络同步任务，关于网络连通方案选择与配置资源组与数据源的网络连通，详情请参见：配置资源...
离线同步任务调优
本文为您介绍影响数据同步速度的因素、如何通过调整同步任务的并发配置来实现同步速度最大化、作业的限速选项，以及数据同步过慢的场景。文档概述 同步速度受同步任务本身配置、数据库、网络等多方面影响，详情请参见：数据同步速度的影响...
通过DataWorks导入数据
本文为您介绍如何通过DataWorks将Kafka数据导入至 AnalyticDB MySQL版 湖仓版（3.0）或 数仓版（3.0）。前提条件 已购买合适规格的独享数据集成资源组。详情请参见：新增和使用独享数据集成资源组。已完成数据集成资源组与数据源的网络连通...
热力线层
最大宽度：热力线的最大宽度，通过数据中的 value 值来调整线的宽度。渐变速度：热力线层渐隐渐显的速度，值越大则速度越快。最小值颜色：数据中 value 值最小的线的颜色。最大值颜色：数据中 value 值最大的线的颜色，请参见 颜色选择器...
创建PolarDB数据源
数据源编码 配置数据源编码后，您可以在Flink_SQL任务中通过 数据源编码.表名称 或 数据源编码.schema.表名称 的格式引用数据源中的表；如果需要根据所处环境自动访问对应环境的数据源，请通过${数据源编码}.table 或${数据源编码}.schema....
数据传输规格说明
不同的实例规格对应了增量同步的不同 RPS 性能表现，以及建议迁移或同步的最大表对象数量，通过 OceanBase 数据传输服务可以实现数据秒级同步至目标端。但是受限于源端实例的运行负载、传输网络的带宽、网络延时和目标端实例写入性能等多种...
标签工厂概述
标签开发 定义视图：在进行标签开发前，您可通过数据源创建视图定义，视图允许您对数据源进行预加工。如定义视图的 数据范围、显示列等。行为关系：通过具体的行为定义实体之间的关系，如“用户购买商品”通过“购买”这个行为描述了“用户...
DataWorks on EMR Serverless StarRocks最佳实践
DataWorks支持StarRocks数据源，通过数据源对接EMR Serverless StarRocks，可实现EMR Serverless StarRocks的数据集成、开发、分析、数据服务等功能。本文为您介绍EMR Serverless StarRocks在DataWorks上的操作流程。背景信息 了解EMR ...
新增和使用独享数据集成资源组
您可以使用DataWorks独享数据集成资源组功能，为数据集成同步任务分配独立的计算资源，从而提高任务的执行效率和稳定性。购买独享资源组后，在实际使用前您还需进行网络绑定、白名单等配置操作。本文为您介绍从购买至使用独享数据集成资源...
云数据库录入
本文介绍如何通过数据管理DMS录入阿里云数据库。前提条件 支持录入的云数据库类型，请参见 支持的云数据库。系统角色为DBA或管理员。查看系统角色的操作，请参见 查看我的系统角色。已在云数据库的白名单中添加DMS的服务器访问地址。详细...
内存型
企业级特性 支持诸多企业级特性：通过数据闪回按时间点恢复数据、代理查询缓存、全球多活 等。数据安全 支持 开启SSL加密，提升通信数据的安全性。支持 开启透明数据加密TDE，对RDB数据文件执行加密和解密，提升数据安全性。适用场景 适用...
MySQL分库分表同步至MaxCompute
本文以MySQL分库分表实时写入MaxCompute场景为例，为您介绍如何通过数据集成同步分库分表数据至MaxCompute。前提条件 已完成MaxCompute和MySQL数据源配置。您需要将数据库添加至DataWorks上，以便在同步任务配置时，可通过选择数据源名称来...
入仓解决方案
支持的数据库部署位置 有公网IP的自建数据库 无公网IP:Port的数据库（通过数据库网关DG接入）通过云企业网CEN接入的自建数据库 ECS上的自建数据库 通过专线/VPN网关/智能接入网关接入的自建数据库 ECS上的自建数据库 通过专线/VPN网关/智能...
MySQL分库分表同步至MaxCompute
本文以MySQL分库分表实时写入MaxCompute场景为例，为您介绍如何通过数据集成同步分库分表数据至MaxCompute。前提条件 已完成MaxCompute和MySQL数据源配置。您需要将数据库添加至DataWorks上，以便在同步任务配置时，可通过选择数据源名称来...
BigQuery数据源
BigQuery数据源为您提供读取BigQuery的功能，方便您后续可以通过向导模式和脚本模式配置数据同步任务。本文为您介绍DataWorks的BigQuery数据同步能力支持情况。支持的版本及地域 BigQuery使用的SDK版本是 google-cloud-bigquery 2.29.0，...
应用场景
该应用场景在阿里巴巴内部得到了广泛的应用，例如淘宝订单系统每天有上万个下游业务，通过数据订阅获取订单系统的实时数据更新，触发自身的变更逻辑。横向扩展读能力 传输方式：数据同步 对于有大量读请求的应用场景，单个数据库实例可能...
DB2数据源
DB2 Writer通过数据同步框架获取Reader生成的协议数据，通过 insert into（当主键/唯一性索引冲突时，冲突的行会写不进去）语句，写入数据至DB2。另外出于性能考虑采用了 PreparedStatement+Batch，并且设置了 rewriteBatchedStatements=...
功能特性
云原生内存数据库Tair 云原生内存数据库Tair是阿里云自研数据库，兼容Redis的同时提供更多数据结构和企业级...通过数据闪回按时间点恢复数据 备份策略设置 支持自动备份与手动备份，自动备份将根据设置的备份策略自动进行备份。自动或手动备份
产品优势
支持多种来源的数据库：提供免费、稳定、高效的数据库网关DG用于打通网络接入，通过数据库网关您可以安全且低成本地将其他云厂商数据库或本地数据库接入DMS。更多信息，请参见 什么是数据库网关。提供数据库平滑迁移工具：DMS提供了DTS数据...
- 产品推荐
- 这些文档可能帮助您