数据迁移方案概览
HybridDB for MySQL支持的数据迁移应用场景及操作如下：操作 适用的引擎类型 场景“数据集成”导入 事务引擎/分析引擎 使用数据集成（Data Integration）将HybridDB for MySQL导入或导出到其他阿里云数据库产品。“数据传输”导入 事务引擎...
“数据集成”导入
您可以通过 数据集成（Data Integration）向 HybridDB for MySQL 中进行数据的全量导入或带过滤条件的导入。具体操作请参见 配置HybridDB for MySQL数据源。
数据集成
数据集成是阿里对外提供的可跨异构数据存储系统的、可靠、安全、低成本、可弹性扩展的数据同步平台，为20多种数据源提供...您可以通过 数据集成（Data Integration）向云数据库RDS进行数据的导入和导出。支持的数据源请参见 支持的数据源。
数据集成
数据集成是阿里对外提供的可跨异构数据存储系统的、可靠、安全、低成本、可弹性扩展的数据同步平台，为20多种数据源提供...您可以通过 数据集成（Data Integration）向云数据库RDS进行数据的导入和导出。支持的数据源请参见 支持的数据源。
更多数据同步方案
数据集成是阿里对外提供的可跨异构数据存储系统的、可靠、安全、低成本、可弹性扩展的数据同步平台，为20多种数据源提供不同网络环境...您可以通过 数据集成（Data Integration）向云数据库RDS进行数据的导入和导出。详情请参见 MySQL数据源。
ETL工具支持概览
阿里云的数据集成服务（Data Integration）：阿里云提供的ETL工具。在数据集成服务中，将 AnalyticDB PostgreSQL版 配置为一个PostgreSQL数据库，即可实现其他数据源（RDS、MaxCompute、TableStore等）到 AnalyticDB PostgreSQL版 的数据...
数据集成
数据源支持情况 数据集成目前支持40种以上的数据源类型（包括关系型数据库、非结构化存储、大数据存储、消息队列等），通过定义来源与去向数据源，并使用数据集成提供的数据抽取插件（Reader）、数据写入插件（Writer），实现任意结构化、...
通用参考：切换资源组
数据集成切换资源组 资源组创建并配置完成后，您可以通过如下方式切换数据集成使用的资源组。数据集成页面 进入数据集成页面。登录 DataWorks控制台，切换至目标地域后，单击左侧导航栏的 数据集成，在下拉框中选择对应工作空间后单击 进入...
数据集成审批策略
使用限制 仅企业版的DataWorks支持使用数据集成审批策略功能。仅主账号和被授予 AliyunDataWorksFullAccess 权限的RAM用户可以选择所有工作空间作为管控工作空间。即定义的审批策略会在所有的管控工作空间内生效。工作空间管理员 仅能选择...
数据集成侧同步任务配置
说明 您可以使用调度参数来指定同步源表及目标表的数据范围，调度参数使用说明请参见：数据集成使用调度参数的相关说明。周期设置：由于需要进行周期性调度，所以需要定义周期性调度任务时的相关属性，包括 调度周期、生效日期、暂停调度 ...
Sensors Data（神策）数据源
DataWorks数据集成支持使用Sensors Data Writer将数据写至Sensors Data，本文为您介绍DataWorks的Sensors Data数据同步的能力支持情况。使用限制 目前仅华南1（深圳）地域支持绑定Sensors Data数据源，其他地域会陆续支持，敬请期待！不...
DLF中数据入湖功能停止更新公告
为了确保您业务连续性，建议您采用其他方式进行数据入湖，推荐使用 数据集成概述 或 Flink CDC：如 MySQL CDC DataStream Connector。停止更新功能 数据湖构建（DLF）产品，数据入湖功能。说明 数据湖构建（DLF）产品其他功能正常使用，不...
整库离线同步至MaxCompute
说明 您可以使用调度参数来指定同步源表及目标表的数据范围，调度参数使用说明请参见：数据集成使用调度参数的相关说明。配置数据同步的调度周期。根据任务运行需求设置数据同步任务的调度周期，包括 调度周期、生效日期、暂停调度 等。...
同步数据
详细操作步骤请参见 使用数据集成迁移数据至分析型数据库MySQL版。通过Kettle将关系型数据库、Hbase等NoSQL数据源，以及Excel、Access中的数据导入分析型数据库MySQL版中，详细操作步骤请参见 使用kettle将本地数据导入分析型数据库MySQL版...
EMR Hive数据整库离线同步至MaxCompute
调度参数使用说明请参见 数据集成使用调度参数的相关说明。重跑属性。可根据业务需求设置不同的重跑策略，设置失败可重跑策略可以有效降低因为网络抖动等偶发问题导致的任务失败。配置调度依赖。可根据业务需求设置不同的调度依赖。您可以...
使用DataWorks
当您需要将MaxCompute中的数据导出至其他数据源执行后续数据处理操作时，您可以使用数据集成功能导出数据。本文为您介绍如何将MaxCompute的数据导出至其他数据源。背景信息 数据集成的导出方式有如下两种：向导模式：创建离线同步节点后，...
EMR Hive数据整库离线同步至MaxCompute
调度参数使用说明请参见 数据集成使用调度参数的相关说明。重跑属性。可根据业务需求设置不同的重跑策略，设置失败可重跑策略可以有效降低因为网络抖动等偶发问题导致的任务失败。配置调度依赖。可根据业务需求设置不同的调度依赖。您可以...
整库离线同步至MaxCompute
说明 您可以使用调度参数来指定同步源表及目标表的数据范围，调度参数使用说明请参见：数据集成使用调度参数的相关说明。配置数据同步的调度周期。根据任务运行需求设置数据同步任务的调度周期，包括 调度周期、生效日期、暂停调度 等。...
DataWorks OpenAPI概述
DataWorks为您提供了涵盖租户、元数据、数据开发、运维中心、数据集成等多个功能模块的OpenAPI接口，不同API的QPS限制、每日调用次数上限和支持使用的DataWorks服务版本存在差异。您可参考本文了解各OpenAPI支持的DataWorks版本及地域、...
一键实时同步至MaxCompute
包括实时增量同步及离线全量同步使用的独享数据集成资源组、离线全量同步使用的调度资源组，同时，单击 高级配置 可配置是否容忍脏数据、任务最大并发数、源库允许支持的最大连接数等参数。说明 DataWorks的离线同步任务通过调度资源组将其...
一键实时同步至MaxCompute
包括实时增量同步及离线全量同步使用的独享数据集成资源组、离线全量同步使用的调度资源组，同时，单击 高级配置 可配置是否容忍脏数据、任务最大并发数、源库允许支持的最大连接数等参数。说明 DataWorks的离线同步任务通过调度资源组将其...
整库离线同步至Elasticsearch
说明 您可以使用调度参数来指定同步源表及目标表的数据范围，调度参数使用说明请参见：数据集成使用调度参数的相关说明。参数 描述 写入ElasticSearch策略 取值如下：插入：为默认值，同步数据时直接向目标索引中插入数据。更新：同步数据...
功能发布记录（2022年）
2022.8.5 全部地域 DataWorks用户 附录：数据地图权限管控能力总览 数据集成支持使用向导模式离线同步达梦数据库 DataWorks数据集成支持使用可视化向导模式离线同步达梦数据库的数据，该方式相较脚本模式更易操作。2022.8.2 全部地域 ...
创建Impala数据源
使用限制 Dataphin的Impala数据源的数据集成使用JDBC的方式进行集成，因此性能相较于Hive较差，若您集成的表为非Kudu表，您可使用Hive数据源及输入输出组件集成。仅当连接E-MapReduce 5.x版本的Impala数据源时，才支持使用DLF获取元数据。...
创建Impala数据源
使用限制 Dataphin的Impala数据源的数据集成使用JDBC的方式进行集成，因此性能相较于Hive较差，若您集成的表为非Kudu表，您可使用Hive数据源及输入输出组件集成。仅当连接E-MapReduce 5.x版本的Impala数据源时，才支持使用DLF获取元数据。...
数据集成：全领域数据汇聚
DataWorks的数据集成功能模块是稳定高效、弹性伸缩的数据同步平台，致力于提供复杂网络环境下、丰富的异构数据源之间高速稳定的数据移动及同步能力。功能概述 DataWorks数据集成支持离线同步、实时同步，以及离线和实时一体化的全增量同步...
计费方式
运行数据集成任务会产生DataWorks相关费用，此外还可能其他产品费用，具体如下：DataWorks相关收费 数据集成资源组（独享数据集成资源组计费说明：包年包月，如果使用 公共数据集成（调试）资源组：按量计费，则还包括公共数据集成资源组...
DataWorks数据集成
数据集成（Data Integration）是阿里巴巴集团提供的数据同步平台。该平台具备可跨异构数据存储系统、可靠、安全、低成本、可弹性扩展等特点，可为20多种数据源提供不同网络环境下的离线（全量/增量）数据进出通道。关于数据集成的更多信息...
公共数据集成（调试）资源组：按量计费
您可以直接使用独享数据集成资源组，保障任务的运行，独享数据集成资源组的介绍可参见 独享数据集成资源组。计费项 数据集成任务在周期实例、补数据实例、手动实例、数据开发（DataStudio）界面业务流程、冒烟测试等几种运行方式所产生的...
通用参考：按量付费转包年包月
任务类型 所用资源组 资源组介绍及计费说明 调度任务 公共调度资源组 使用公共资源组 公共调度资源组计费说明：按量付费 数据集成任务 公共数据集成（调试）资源组 使用公共资源组 公共数据集成（调试）资源组：按量计费 调用数据服务API ...
使用DataWorks（离线与实时）
费用说明 使用DataWorks数据集成进行数据同步时，需使用DataWorks的数据集成资源组与调度资源组，您可根据需要选择使用公共资源组或独享资源组，同时在数据传输过程中如果使用了公网传输，可能会涉及公网流量费用。各项可能费用的详情请...
数据导入概览
使用DataWorks数据集成同步数据到GDB DataWorks 是阿里云上的一站式大数据智能云研发平台，其中数据集成服务支持导出数据到GDB，您也可以使用平台完成数据计算、筛选、转换等处理再同步到GDB。DataWorks的GDB数据源底层由GdbWriter插件提供...
添加白名单
如果您用独享数据集成资源组同步同阿里云账号，同Region下的VPC环境数据库，您购买添加独享数据集成资源组后，还需完成网络配置和工作空间绑定，操作详情可参见 新增和使用独享数据集成资源组。如果您已完成网络连通配置，但资源组仍然无法...
配置SQLServer数据源
说明（推荐）资源组列表默认仅显示独享数据集成资源组，为确保数据同步的稳定性和性能要求，推荐使用独享数据集成资源组。如果您需要测试公共资源组或自定义资源组的连通性，请在资源组列表右下方，单击 更多选项，在 警告 对话框单击 确定...
Kafka数据迁移MaxCompute最佳实践
本文为您介绍如何使用DataWorks数据集成，将Kafka集群上的数据迁移至MaxCompute。前提条件 开通MaxCompute和DataWorks。在DataWorks上完成创建业务流程，本例使用DataWorks简单模式。详情请参见 创建业务流程。搭建Kafka集群 进行数据迁移...
Kafka数据迁移MaxCompute最佳实践
本文为您介绍如何使用DataWorks数据集成，将Kafka集群上的数据迁移至MaxCompute。前提条件 开通MaxCompute和DataWorks。新增MaxCompute数据源。详情请参见 创建MaxCompute数据源。在DataWorks上完成创建业务流程，本例使用DataWorks简单...
MetaQ数据源
DataWorks数据集成支持使用MetaQ Reader读取消息队列Message Queue（简称MQ）的数据，本文为您介绍DataWorks的MetaQ数据读取能力。支持的版本 MetaQ Reader通过消息队列服务的Java SDK订阅MetaQ中的实时消息数据，使用的Java SDK版本如下所...
使用MaxCompute访问
说明 由于MaxCompute默认资源组不支持Hadoop高级参数HA的配置，如果想通过HA的模式访问文件引擎，那么请新增自定义资源，详情请参见文档 新增和使用自定义数据集成资源组，并且在数据源中配置对应的 defaultFS 和 hadoopConfig 配置需要的...
LogHub（SLS）数据源
使用限制 数据集成离线写LogHub（SLS）时，由于LogHub（SLS）无法实现幂等，FailOver重跑任务时会引起数据重复。支持的字段类型 数据集成支持读写的LogHub（SLS）字段类型如下。字段类型 离线读（LogHub（SLS）Reader）离线写（LogHub（SLS...
SelectDB数据源
DataWorks数据集成支持使用SelectDB Writer导入表数据至SelectDB。本文为您介绍DataWorks的SelectDB数据同步能力支持情况。支持的SelectDB版本 SelectDB Writer使用的驱动版本是MySQL Driver5.1.47，驱动能力详情请参见 MySQL Connectors。...
- 产品推荐
- 这些文档可能帮助您