PolarDB-X 2.0数据源
PolarDB-X 2.0数据源为您提供读取和写入PolarDB-X 2.0的双向通道，本文为您介绍DataWorks的PolarDB-X 2.0数据同步的能力支持情况。使用限制 PolarDB-X 2.0数据源仅支持使用 独享数据集成资源组。支持的版本 离线读写：支持PolarDB-X 2.0，...
OSS-HDFS数据源
OSS-HDFS服务（JindoFS服务）是一款云原生数据湖存储产品，OSS-HDFS数据源为您提供读取和写入OSS-HDFS的双向通道，本文为您介绍DataWorks的OSS-HDFS数据同步的能力支持情况。使用限制 离线读 使用OSS-HDFS Reader时，请注意以下事项：由于...
HDFS数据源
HDFS是一个分布式文件系统，为您提供读取和写入HDFS双向通道的功能，本文为您介绍DataWorks的HDFS数据同步的能力支持情况。支持的版本 目前不支持阿里云文件存储HDFS版。使用限制 离线读 使用HDFS Reader时，请注意以下事项：由于连通默认...
配置并管理实时同步任务
使用限制 实时数据同步任务仅支持使用独享数据集成资源组。实时数据同步任务暂不支持同步没有主键的表。创建实时同步任务 创建整库实时同步节点。配置资源组。设置同步来源和规则。在 数据来源 区域，选择要同步的数据源 类型 和 数据源 ...
EMR Hive数据整库离线同步至MaxCompute
准备独享数据集成资源组并与EMR Hive网络连通 在进行数据同步前，需要完成您的独享数据集成资源组和数据源的网络连通，详情请参见 配置网络连通。如果您的独享数据集成资源组和EMR数据源属于同一地域，可使用同地域VPC内网连通独享资源组和...
新增离线数据同步任务
数据同步支持离线数据同步任务的新建。离线数据同步任务支持的云计算资源类型为MySQL、Oracle、SQL Server、Hdfs、ftp、PostgreSQL、Hive、MaxCompute、AnalyticDB PostgreSQL、OSS。本文以同步MySQL数据源到MaxCompute目标端为例，介绍...
HBase数据源
HBase数据源为您提供读取和写入HBase的双向通道，本文为您介绍DataWorks的HBase数据同步的能力支持情况。支持的版本 支持HBase0.94.x、HBase1.1.x、HBase2.x和Phoenix5.x版本。如果您的HBase版本为HBase0.94.x，Reader和Writer端的插件请...
通过脚本模式配置离线同步任务
当您需要实现更精细化的配置管理时，您可以使用脚本模式配置离线同步任务，通过编写数据同步的JSON脚本并结合DataWorks调度参数使用，将源端单表或分库分表的全量或增量数据周期性同步至目标数据表。本文为您介绍脚本模式配置离线同步任务...
通过向导模式配置离线同步任务
背景信息 数据集成离线同步，为您提供数据读取（Reader）和写入插件（Writer）实现数据的读取与写入，您可通过向导模式和脚本模式配置离线同步任务，实现源端单表同步至目标端单表、源端分库分表同步至目标端单表两类数据同步场景。...
Android 接口
reportMsgReceived(SyncMessage syncMessag)声明 public static void reportMsgReceived(SyncMessage msg)说明 用于在 syncCallback 中收到同步推送的数据后，调用该接口通知移动同步服务端接收同步数据成功。在没有收到 reportMsgReceived...
管理数据同步任务和存储表
添加并开启云产品数据源同步任务后，您可查看对应同步任务的详细信息，包括同步状态、数据同步存储表、同步任务运行信息等。您也可根据需要在数据同步存储表中新增字段。本文介绍如何查看云产品数据源的同步任务和数据同步存储表。查看同步...
Tablestore数据源
表格存储Tablestore是构建在阿里云飞天分布式系统之上的NoSQL数据存储服务，Tablestore数据源为您提供读取和写入Tablestore双向通道的功能，本文为您介绍DataWorks的Tablestore数据同步的能力支持情况。使用限制 Tablestore Reader和Writer...
AnalyticDB for MySQL 2.0数据源
AnalyticDB for MySQL 2.0数据源为您提供读取和写入AnalyticDB for MySQL 2.0的双向通道，本文为您介绍DataWorks的AnalyticDB for MySQL 2.0数据同步的能力支持情况。使用限制 离线同步支持读取视图（VIEW）表。AnalyticDB for MySQL 2.0 ...
MySQL整库周期性增全量同步至Hive
本实践以MySQL作为来源数据源，以Hive作为去向数据源，因此您需要在DataWorks的工作空间的 数据源管理 页面新增MySQL数据源和Hive数据源，两个数据源支持的数据同步能力请参见 MySQL数据源、Hive数据源。已购买独享数据集成资源组，并为...
配置并管理实时同步任务
使用限制 实时数据同步任务仅支持使用独享数据集成资源组。实时同步节点目前仅支持同步PolarDB、OceanBase、MySQL及Oracle数据源至DataHub。使用说明 DataHub不同数据类型对应操作的支持情况，不同数据类型的分片策略、数据格式及相关消息...
增加或删除已运行任务的同步表
同步数据至Kafka解决方案为您提供了一键增加及删除同步表功能，方便您为已成功配置运行的同步任务快速添加新表或删除已有同步表。本文为您介绍如何增加或删除已运行任务的同步表。前提条件 已创建并运行同步数据至Kafka解决方案的任务，...
Gateway节点运行Flume进行数据同步
本文介绍阿里云EMR-3.17.0及后续版本，如何使用Gateway节点运行Flume从而进行数据同步。背景信息 EMR-3.16.0及后续版本支持Apache Flume。EMR-3.17.0及后续版本提供默认监控等特性。在Gateway节点运行Flume可以避免对E-MapReduce Hadoop...
EMR Hive数据整库离线同步至MaxCompute
准备独享数据集成资源组并与EMR Hive网络连通 在进行数据同步前，需要完成您的独享数据集成资源组和数据源的网络连通，详情请参见 配置网络连通。如果您的独享数据集成资源组和EMR数据源属于同一地域，可使用同地域VPC内网连通独享资源组和...
批量新增离线数据同步任务
数据同步支持离线同步任务的批量创建，并支持一键启动多个上云任务，实现全量任务自动建表。本文以同步MySQL数据源到MaxCompute目标端为例，介绍如何批量新增离线数据同步任务。前提条件 已存在对应数据源，具体操作，请参见 新建数据源。...
使用MirrorMaker 2（Dedicated）跨集群同步数据
Kafka MM2适用于下列场景：远程数据同步：通过MM2，Kafka数据可以在不同地域的集群进行传输复制。灾备场景：通过MM2，可以构建不同数据中心的主备两个集群容灾架构，MM2实时同步两个集群的数据。当其中一个集群不可用时，可以将上面的应用...
MySQL整库离线同步到OSS
数据源维度，同一数据源，同时运行的离线任务并发度不允许超过此值 离线同步任务并发度 并发数是指数据同步任务中，可以从源端并行读取和向目标存储端并行写出数据的最大线程数。并发数大，同步任务速率高，但相对也会消耗更多的资源组槽位...
查看脚本同步任务监控
操作步骤 登录 数据资源平台控制台。在页面左上角，单击 图标，选择 协同。在顶部菜单栏，单击 图标，选择目标工作组，单击 资产加工。在左侧导航栏，单击 图标，将鼠标悬停在 配置化同步 上，单击 图标。在 配置化同步 页面，单击目标同步...
数据同步
数据同步是指数仓或者数据湖内的数据与上游业务库内的数据保持同步的状态。当上游业务库内的数据发生变更之后，下游的数仓/数据湖立即感知到数据变化，并将数据变化同步过来。在数据库中，这类场景称为Change Data Capture（CDC）场景。...
同步EMR Kafka数据至OSS-HDFS
测试数据同步情况。通过SSH方式连接DataFlow集群，详情请参见 登录集群。创建名称为 flume-test 的Topic。kafka-topics.sh-partitions 10-replication-factor 2-zookeeper master-1-1:2181/emr-kafka-topic flume-test-create 生成测试数据...
使用Flink CDC同步MySQL数据至StarRocks
本文为您介绍如何使用Flink CDC将MySQL数据同步至EMR Serverless StarRocks中。前提条件 已在新版控制台创建DataFlow集群，详情请参见 创建集群。已创建EMR Serverless StarRocks实例，详情请参见 创建实例。已创建RDS MySQL，详情请参见 ...
同步EMR Kafka数据至OSS
测试数据同步情况。通过SSH方式连接DataFlow集群，详情请参见 登录集群。创建名称为 flume-test 的Topic。kafka-topics.sh-partitions 10-replication-factor 2-zookeeper master-1-1:2181/emr-kafka-topic flume-test-create 生成测试数据...
基于DataFlow集群的Flink服务使用CTAS语句同步MySQL...
背景信息 您可以通过CTAS或CDAS语句将MySQL数据同步至EMR Serverless StarRocks，CTAS可以实现单表的结构和数据同步，CDAS可以实现整库同步或者同一库中的多表结构和数据同步。本文使用CTAS语句，CDAS语句的使用方法与CTAS类似，具体请参见...
使用MirrorMaker 2（on Connect）跨集群同步数据
背景信息 使用场景 Kafka MM2适用于下列场景：远程数据同步：通过MM2，Kafka数据可以在不同地域的集群进行传输复制。灾备场景：通过MM2，可以构建不同数据中心的主备两个集群容灾架构，MM2实时同步两个集群的数据。当其中一个集群不可用时...
基于实时计算Flink使用CTAS语句同步MySQL数据至...
背景信息 您可以通过CTAS或CDAS语句将MySQL数据同步至EMR Serverless StarRocks，CTAS可以实现单表的结构和数据同步，CDAS可以实现整库同步或者同一库中的多表结构和数据同步。本文使用CTAS语句，CDAS语句的使用方法与CTAS类似，具体请参见...
同步EMR Kafka数据至HDFS
测试数据同步情况。通过SSH方式连接DataFlow集群，详情请参见 登录集群。创建名称为 flume-test 的Topic。kafka-topics.sh-partitions 10-replication-factor 2-zookeeper master-1-1:2181/emr-kafka-topic flume-test-create 生成测试数据...
同步EMR Kafka数据至Hive
测试数据同步情况。通过SSH方式连接DataFlow集群，详情请参见 登录集群。创建名称为 flume-test 的Topic。kafka-topics.sh-partitions 10-replication-factor 2-zookeeper master-1-1:2181/emr-kafka-topic flume-test-create 生成测试数据...
上线实时任务
相关操作 操作 说明 下线实时任务 单个下线：在 实时数据同步 页面，单击目标实时任务 操作 列的 下线，在弹出对话框中单击 确定，可下线实时任务。批量下线：在 实时数据同步 页面，选择需要下线的任务，单击页面左下角 批量下线，可批量...
场景：配置增量数据离线同步任务
该内容将向您介绍如何配置增量数据同步任务。使用说明 部分数据源暂无增量同步方案，例如HBase、OTSStream数据源等。具体数据源是否支持增量同步可以看具体的Reader插件文档。每个插件实现增量同步的所配置的参数可能不同，具体参数配置...
基本概念
数据资产：数据资源平台中存在大量的数据表、标签、API等各类数据资产，数据管理者通过数据汇聚、数据治理、数据分析后，需要对整个平台数据进行统一管控，了解平台的核心数据资产，提供对应的数据资产管理规范。统一服务 应用：是调用API...
全量数据同步
通过选择已注册的数据源端数据和目标端，实现全量任务自动建表的方式创建离线同步周期任务，本文介绍如何创建MySQL to MaxCompute离线全量数据同步一次性调度的任务。前提条件 已新建工作组，具体操作，请参见 新建工作组。已在工作组中...
数据集成
DataWorks数据集成支持复杂网络环境下的数据同步，您可在数据开发（DataStudio）界面直接 创建离线同步节点，用于离线（批量）数据周期性同步；实时同步任务运维，用于单表或整库增量数据实时同步。本文为您介绍数据同步的相关内容。背景...
增量数据同步
通过选择已注册的数据源端数据和目标端，实现增量任务自动建表的方式创建离线同步周期任务，本文介绍如何创建MySQL to MaxCompute离线增量数据同步周期调度的任务。前提条件 已新建工作组“信息中心（xxzx）”，具体操作，请参见 新建工作...
什么是数据资源平台
协同 数据同步：数据同步可实现离线、实时多源异构数据的便捷同步或接入，系统可提供完善的数据接入配置、数据模板配置、数据同步任务运行监控等功能，有效保障数据接入的稳定性和可控性，满足各类平台、数据源及应用系统间的数据汇聚需求...
查看实时同步任务详情
实时同步任务是由实时数据同步时发起的任务，运维监控支持查看实时同步任务及其详情。本文介绍查看实时同步任务的详情。前提条件 已上线实时同步任务，具体操作，请参见 上线实时任务。操作步骤 登录 数据资源平台控制台。在页面左上角，...
获取物理表
数据源同步后，还需通获取当前云计算资源下最新物理表及元数据Meta信息，以便进行数据源之间的数据同步。前提条件 已新建工作组“信息中心(xxzx)”，具体操作，请参见 新建工作组。已在工作组中分别添加数据源类型为MaxCompute、RDS MySQL...
- 产品推荐
- 这些文档可能帮助您