数据同步平台-数据同步平台文档介绍内容-阿里云

添加云产品数据源

后续系统会按照同步周期运行同步任务，将云产品数据同步到物联网平台数据服务的自定义存储表。可选操作编辑云产品数据源配置在云产品页签，找到已添加的云产品数据源。单击对应操作列的编辑。在编辑云产品数据源面板，参考上文...

操作流程

数据同步主要内容包括数据源配置、获取物理表、创建同步任务三方面。本文介绍数据同步的操作流程。流程图流程说明流程说明配置数据源配置数据同步的源端和目标端。数据同步的源端，是数据同步任务的起点。数据同步目标端是同步的终点...

数据同步简介

数据同步是 mPaaS 平台的一个核心基础服务组件。数据同步源自蚂蚁集团内面向移动应用、从服务端到客户端进行海量数据推送的全链路解决方案—SYNC。该组件提供了一个安全的基于传输控制协议（Transmission Control Protocol，简称 TCP）和...

使用阿里云实时计算Flink实现MySQL至StarRocks的数据...

如果RDS的表有新建，则MySQL新加的表需要重新运行StarRocks Migrate Tool以进行数据同步。操作流程步骤一：准备测试数据步骤二：通过VVP创建自定义Connector 步骤三：通过VVP创建MySQL的Catalog 步骤四：通过VVP创建StarRocks结果表步骤...

数据引入概述

数据集成为您提供简单高效、安全可靠的数据同步平台。数据集成支持通过整库迁移（快速生成批量同步任务）和一键生成目标表（同步到MaxCompute的数据无需手动建表）的方式，提高数据同步的效率。更多信息，请参见数据集成概述。

数据引入概述

数据集成为您提供简单高效、安全可靠的数据同步平台。数据集成支持通过整库迁移（快速生成批量同步任务）和一键生成目标表（同步到MaxCompute的数据无需手动建表）的方式，提高数据同步的效率。更多信息，请参见数据集成概述。

数据同步概述

数据集成为您提供简单高效、安全可靠的数据同步平台。更多信息，请参见数据集成概述。重要因数据同步功能不再支持，本数据同步功能文档已不再维护，仅用于历史用户参考。功能介绍数据同步支持通过界面配置及编写代码的方式构建同步任务...

数据同步概述

数据集成为您提供简单高效、安全可靠的数据同步平台。更多信息，请参见数据集成概述。重要因数据同步功能不再支持，本数据同步功能文档已不再维护，仅用于历史用户参考。功能介绍数据同步支持通过界面配置及编写代码的方式构建同步任务...

数据集成概述

数据集成是基于Dataphin构建的简单高效的数据同步平台，致力于提供具有强大的数据预处理能力、丰富的异构数据源之间数据高速稳定的同步能力。背景信息面对各行各业对大数据的应用，数据集成会有很多的诉求，包括能够简单高效的配置大量...

云计算资源类型

了解数据同步支持的云计算资源类型，以便后续参考使用。本文介绍数据同步支持的云计算资源。单表任务链路目前系统支持的任务链路如下表所示。说明对号（√）代表支持，其他则为不支持。目标端支持版本与源端一致。批量任务链路目前系统...

数据集成概述

数据集成是稳定高效、弹性伸缩的数据同步平台，致力于提供复杂网络环境下、丰富的异构数据源之间高速稳定的数据移动及同步能力。使用限制数据同步：支持且仅支持结构化（例如RDS、DRDS等）、半结构化、无结构化（OSS、TXT等，要求具体同步...

数据集成：全领域数据汇聚

DataWorks的数据集成功能模块是稳定高效、弹性伸缩的数据同步平台，致力于提供复杂网络环境下、丰富的异构数据源之间高速稳定的数据移动及同步能力。功能概述 DataWorks数据集成支持离线同步、实时同步，以及离线和实时一体化的全增量同步...

数据集成概述

数据集成是基于Dataphin构建的简单高效的数据同步平台，致力于提供具有强大的数据预处理能力、丰富的异构数据源之间数据高速稳定的同步能力。背景信息面对各行各业对大数据的应用，数据集成会有很多的诉求，包括能够简单高效的配置大量...

上线离线数据同步任务

新增离线数据同步任务后，需对任务进行上线操作，同步任务上线后会按照创建同步任务中设置的调度周期执行。本文介绍如何上线离线数据同步任务。前提条件已新增离线数据同步任务，具体操作，请参见新增离线数据同步任务、批量新增离线数据...

DataWorks数据集成

数据集成（Data Integration）是阿里巴巴集团提供的数据同步平台。该平台具备可跨异构数据存储系统、可靠、安全、低成本、可弹性扩展等特点，可为20多种数据源提供不同网络环境下的离线（全量/增量）数据进出通道。关于数据集成的更多信息...

概览

支持表级迁移通过DataWorks导入数据数据集成（Data Integration）是阿里云对外提供的安全、低成本、稳定高效、弹性伸缩的数据同步平台，属于DataWorks的核心能力之一，致力于提供复杂网络环境下、丰富的异构数据源之间高速稳定的数据...

项目数据同步和API接口

如何开启设备数据同步 在生活物联网平台项目管理页面，单击项目设置图标。或者进入项目主页面中，单击项目设置。选择设备数据同步 栏，单击开启，打开数据同步的开关。（可选）选择数据同步的产品名称。开启数据同步后，所有的产品...

数据上云工具

DataWorks数据集成（Tunnel通道系列）DataWorks数据集成（即数据同步），是一个稳定高效、弹性伸缩的数据同步平台，致力于为阿里云上各类异构数据存储系统提供离线全量和实时增量的数据同步、集成、交换服务。其中数据同步任务支持的数据源...

查看离线数据同步任务监控

前提条件已上线离线数据同步任务，具体操作，请参见上线离线数据同步任务。操作步骤登录数据资源平台控制台。在页面左上角，单击图标，选择协同。在顶部菜单栏，单击图标，选择目标工作组，单击资产加工。在左侧导航栏，单击图标...

接入 Android

使用 SDK 在 10.1.32 及以上版本基线中，mPaaS 中间层的 MPSync 类封装了数据同步组件所有 API，通过调用 MPSync 对象即可实现数据同步的所有功能。您可以通过下表快速了解数据同步的相关 API。更多关于 API 的详细信息，参见 Android 接口...

日志服务通过数据集成投递数据

本文将以LogHub数据同步至MaxCompute为例，为您介绍如何通过数据集成功能同步LogHub数据至数据集成已支持的目的端数据源（例如MaxCompute、OSS、Tablestore、RDBMS和DataHub等）。前提条件准备好相关的数据源，详情请参见创建MaxCompute...

DataWorks模块使用说明

数据集成子模块：数据集成功能说明：数据集成是稳定高效、弹性伸缩的数据同步平台，致力于提供复杂网络环境下、丰富的异构数据源之间高速稳定的数据移动及同步能力，支持离线、实时、以及两者混合的同步方式，同时具备表级别粒度以及库...

Amazon Redshift数据源

Amazon Redshift数据源为您提供读取和写入Amazon Redshift的双向通道，方便您后续可以通过向导模式和脚本模式配置数据同步任务。本文为您介绍Amazon Redshift数据同步能力支持情况。支持的Amazon Redshift版本 Amazon Redshift使用的驱动...

BigQuery数据源

BigQuery数据源为您提供读取BigQuery的功能，方便您后续可以通过向导模式和脚本模式配置数据同步任务。本文为您介绍DataWorks的BigQuery数据同步能力支持情况。支持的版本及地域 BigQuery使用的SDK版本是 google-cloud-bigquery 2.29.0，...

采集数据

背景信息数据集成是稳定高效、弹性伸缩的数据同步平台，致力于提供复杂网络环境下、丰富的异构数据源之间高速稳定的数据移动及同步能力，提供离线同步、增量同步、全增量数据实时同步等多种同步方案。本教程采用离线同步方案，DataWorks...

采集数据

背景信息数据集成是稳定高效、弹性伸缩的数据同步平台，致力于提供复杂网络环境下、丰富的异构数据源之间高速稳定的数据移动及同步能力，提供离线同步、增量同步、全增量数据实时同步等多种同步方案。本教程采用离线同步方案，DataWorks...

DataHub通过数据集成批量导入数据

背景信息数据集成是阿里云提供的数据同步平台。该平台具备可跨异构数据存储系统、可靠、安全、低成本、可弹性扩展等特点，可以为20多种数据源提供不同网络环境下的离线数据进出通道。本文以配置DataHub数据源为例，如果您需要使用其它类型...

离线数据集成（DataWorks+MaxCompute）

背景信息 DataWorks的数据集成是稳定高效、弹性伸缩的数据同步平台，致力于提供复杂网络环境下、丰富的异构数据源之间高速稳定的数据移动及同步能力。详细说明，请参见数据集成概述。使用DataWorks中数据集成的IoT Reader插件可以读取物...

StarRocks数据源

StarRocks数据源为您提供读取和写入StarRocks的双向通道，本文为您介绍DataWorks的StarRocks数据同步的能力支持情况。支持的版本支持EMR Serverless StarRocks 2.5和3.1版本。支持EMR on ECS：StarRocks 2.1版本。详情请参见：StarRocks...

查询数据同步操作记录

数据同步服务支持查询数据同步操作记录，包括新建配置、修改配置、删除配置、新建同步、上线配置、下线配置、开启签名、关闭签名的变更操作历史，以便进行操作溯源以及使用数据分析。查询操作历史记录的步骤如下：登录 mPaaS 控制台，进入...

基本概念

S SYNC 指数据同步服务，是指将数据从数据同步服务端同步至客户端 App。T 推送类型分为指定推送和全局推送两种类型。指定推送：指定某⼀个 userId 或 utdId，推送⼀条数据。全局推送：对所有已上线的用户或设备推送数据，全局推送业务为多...

公告

2024年04月16日-Dataphin新版本发布 Dataphin于2024年04月16日发布V3.14版本，本次...数据集成升级了原有数据同步的能力，包括丰富了数据源种类、增加了数据清洗功能、批量同步和逻辑表同步等，为您提供更丰富强大、简单易用的数据同步平台。

通过IDaaS同步钉钉数据到SASE

您也可以通过应用身份服务IDaaS（Alibaba Cloud IDentity as a Service）将钉钉数据同步到办公安全平台SASE（Secure Access Service Edge），以便使用SASE管控钉钉用户的访问权限。本文主要介绍如何将钉钉数据同步到办公安全平台。前提条件...

DM（达梦）数据源

数据同步系统会启动并发任务进行数据同步，以提高数据同步的效能：推荐 splitPk 用户使用表主键，因为表主键通常情况下比较均匀，切分出来的分片也不容易出现数据热点。目前 splitPk 仅支持整型数据切分，不支持浮点、字符串和日期等其他...

ClickHouse数据源

ClickHouse数据源为您提供读取和写入ClickHouse双向通道的功能，本文为您介绍DataWorks的ClickHouse数据同步的能力支持情况。支持的版本支持阿里云ClickHouse的20.8、21.8内核版本。您需要确认驱动和您的ClickHouse服务之间的兼容能力，...

使用MaxCompute独享Tunnel进行数据同步

为满足业务增长对传输资源的更高要求，数据集成的同步任务默认使用独享资源组，可为您提供更好的数据同步稳定性和同步的并发数。本文为您介绍如何使用MaxCompute独享数据传输资源进行数据同步。注意事项若在配置MaxCompute数据源时配置了 ...

文档修订记录

开放平台概览 2023年4月更新记录时间特性类别描述产品文档 2023.4.23 新增功能数据集成数据集成的MaxCompute同步任务默认使用公共传输资源上传、下载数据至MaxCompute，为满足您业务增长对传输资源的更高要求，MaxCompute推出了独享...

ApsaraDB For OceanBase数据源

数据同步前准备在DataWorks上进行数据同步前，您需要参考本文提前在ApsaraDB For OceanBase侧进行数据同步环境准备，以便在DataWorks上进行ApsaraDB For OceanBase数据同步任务配置与执行时服务正常。以下为您介绍ApsaraDB For OceanBase...

MariaDB数据源

MariaDB数据源为您提供读取和写入MariaDB的双向通道，本文为您介绍DataWorks的MariaDB数据同步能力支持情况。支持的MariaDB版本离线读写支持MariaDB 5.5.x、MariaDB 10.0.x、MariaDB 10.1.x、MariaDB 10.2.x、MariaDB 10.3.x版本，且离线...

数据同步平台

新品推荐