同步任务的注意事项及限制
云原生数据仓库 AnalyticDB MySQL 版 3.0 PolarDB MySQL同步至云原生数据仓库AnalyticDB PostgreSQL PolarDB MySQL版同步至阿里云流式数据服务DataHub PolarDB MySQL版同步至Elasticsearch PolarDB MySQL版同步至阿里云消息队列Kafka、自建...
功能简介
流式数据服务的源头为DataHub或RocketMQ的Topic，服务封装为DataHub Topic的读取API，返回Topic中的数据。数据源可以是DataHub和RocketMQ。批量离线数据服务的源头为MaxCompute的数据表，服务封装为根据分区获取分区内全部数据的API。非...
创建DataHub数据源
背景信息 DataHub即阿里云流式数据服务DataHub，如果您使用的是阿里云流式数据服务DataHub，在对接Dataphin进行数据开发时，您需要先完成DataHub数据源的创建。更多DataHub信息，请参见 产品概述。权限说明 Dataphin仅支持 超级管理员、...
统一服务
流式数据服务的源头为DataHub或RocketMQ的Topic，服务封装为DataHub Topic的读取API，返回Topic中的数据。数据源可以是DataHub和RocketMQ。批量离线数据服务的源头为MaxCompute的数据表，服务封装为根据分区获取分区内全部数据的API。非...
功能简介
流式数据服务的源头为DataHub或RocketMQ的Topic，服务封装为DataHub Topic的读取API，返回Topic中的数据。数据源可以是DataHub和RocketMQ。批量离线数据服务的源头为MaxCompute的数据表，服务封装为根据分区获取分区内全部数据的API。非...
创建DataHub数据源
背景信息 DataHub即阿里云流式数据服务DataHub，如果您使用的是阿里云流式数据服务DataHub，在对接Dataphin进行数据开发时，您需要先完成DataHub数据源的创建。更多DataHub信息，请参见 DataHub的产品概述。使用限制 Dataphin仅支持超级...
DataHub
阿里云流式数据服务DataHub流式数据（Streaming Data）的处理平台，提供对流式数据的发布（Publish），订阅（Subscribe）和分发功能，让您可以轻松构建基于流式数据的分析和应用。本文主要介绍如何通过DLA Serverless Spark访问DataHub。...
从PolarDB MySQL版同步至Datahub
阿里云流式数据服务DataHub是流式数据（Streaming Data）的处理平台，提供对流式数据的发布、订阅和分发功能，让您可以轻松构建基于流式数据的分析和应用。通过数据传输服务（Data Transmission Service，简称DTS），您可以将 PolarDB ...
从PolarDB MySQL版同步至Datahub
阿里云流式数据服务DataHub是流式数据（Streaming Data）的处理平台，提供对流式数据的发布、订阅和分发功能，让您可以轻松构建基于流式数据的分析和应用。通过数据传输服务（Data Transmission Service，简称DTS），您可以将 PolarDB ...
从RDS MySQL同步至DataHub
阿里云流式数据服务DataHub是流式数据（Streaming Data）的处理平台，提供对流式数据的发布、订阅和分发功能，让您可以轻松构建基于流式数据的分析和应用。通过数据传输服务DTS（Data Transmission Service），您可以将 RDS MySQL 或RDS ...
从RDS MySQL同步至DataHub
阿里云流式数据服务DataHub是流式数据（Streaming Data）的处理平台，提供对流式数据的发布、订阅和分发功能，让您可以轻松构建基于流式数据的分析和应用。通过数据传输服务DTS（Data Transmission Service），您可以将 RDS MySQL 或RDS ...
购买DTS实例
DataHub：阿里云流式数据服务DataHub。DB2：自建DB2 LUW。as400：AS/400。Tablestore：表格存储Tablestore。OceanBase：OceanBase（MySQL），仅迁移实例支持。说明 默认取值为 MySQL。关于支持的源库和目标库对应情况，请参见支持的 数据库...
RDS MySQL同步至DataHub
阿里云流式数据服务DataHub是流式数据（Streaming Data）的处理平台，提供对流式数据的发布、订阅和分发功能，让您可以轻松构建基于流式数据的分析和应用。通过数据传输服务DTS（Data Transmission Service），您可以将 RDS MySQL 同步至 ...
PolarDB-X 1.0同步至DataHub
本文介绍如何使用数据传输服务DTS（Data Transmission Service），将 PolarDB-X 1.0 同步至 阿里云流式数据服务DataHub。前提条件 已开通 DataHub 服务，并且已创建用作接收同步数据的Project。具体的操作请参见 快速入门、Project操作。...
自建Oracle迁移至DataHub
阿里云流式数据服务DataHub 是流式数据（Streaming Data）的处理平台，提供对流式数据的发布、订阅和分发功能，让您可以轻松构建基于流式数据的分析和应用。本文介绍如何使用数据传输服务DTS（Data Transmission Service）将自建Oracle迁移...
同步时源库为Oracle的注意事项及限制
自建Oracle同步至云原生数据仓库AnalyticDB PostgreSQL版 自建Oracle同步至阿里云消息队列Kafka版或自建Kafka 自建Oracle同步至阿里云流式数据服务DataHub 自建Oracle同步至PolarDB-X 2.0 自建Oracle同步至云原生数据仓库AnalyticDB ...
同步时源库为PolarDB-X 1.0的注意事项及限制
云原生数据仓库AnalyticDB MySQL 3.0 PolarDB-X 1.0间同步 PolarDB-X 1.0同步至MySQL或PolarDB MySQL版 PolarDB-X 1.0同步至云原生数据仓库AnalyticDB MySQL 3.0 PolarDB-X 1.0同步至阿里云流式数据服务DataHub PolarDB-X 1.0 间同步 类型 ...
自建Oracle同步至DataHub
本文介绍如何使用数据传输服务DTS（Data Transmission Service）将自建Oracle同步至 阿里云流式数据服务DataHub。前提条件 已创建源自建Oracle数据库和目标实例 阿里云流式数据服务DataHub，且自建Oracle数据库的版本为19c、18c、12c、11g...
PolarDB-X 2.0同步至DataHub
本文介绍如何使用数据传输服务DTS（Data Transmission Service），将 PolarDB-X 2.0 同步至 阿里云流式数据服务DataHub，实现增量数据的实时同步。前提条件 已开通 DataHub，并且已创建用作接收同步数据的Project。具体操作请参见 快速入门...
从自建Oracle同步至DataHub
阿里云流式数据服务DataHub是流式数据（Streaming Data）的处理平台，提供对流式数据的发布、订阅和分发功能，让您可以轻松分析和使用流式数据。您可以通过DTS将自建Oracle同步至DataHub，帮助您快速实现使用流计算等大数据产品对数据实时...
RDS MySQL迁移至DataHub
本文介绍如何使用数据传输服务DTS（Data Transmission Service），将 RDS MySQL 迁移至 阿里云流式数据服务DataHub。前提条件 已创建源实例 RDS MySQL。说明 源实例 RDS MySQL 的创建方式，请参见 快速创建RDS MySQL实例。支持的版本，请...
RDS SQL Server迁移至DataHub
数据传输服务DTS（Data Transmission Service）支持将 RDS SQL Server 迁移至 阿里云流式数据服务DataHub。前提条件 确认DTS是否支持该版本的 RDS SQL Server 实例。支持的版本，请参见 迁移方案概览。已开通 DataHub 服务，并且已创建用作...
RDS SQL Server同步至DataHub
数据传输服务DTS（Data Transmission Service）支持将 RDS SQL Server 同步至 阿里云流式数据服务DataHub。前提条件 已创建源 RDS SQL Server 实例，创建方式请参见 快速创建RDS SQL Server实例。重要 目前源RDS SQL Server支持的版本，请...
同步时源库为SQL Server的注意事项及限制
AnalyticDB MySQL 版 3.0 云原生数据仓库AnalyticDB PostgreSQL 阿里云流式数据服务DataHub SQL Server间的同步 RDS SQL Server同步至MySQL SQL Server同步至PolarDB MySQL SQL Server同步至云原生数据仓库 AnalyticDB MySQL 版 3.0 SQL ...
流式数据通道概述
MaxCompute流式数据通道服务提供了以流式的方式把数据写入MaxCompute的能力，使用与原批量数据通道服务不同的一套全新的API及后端服务。流式服务在API上极大简化了分布式服务的开发成本，同时解决了批量数据通道在高并发、高QPS（Queries-...
同步时源库为PolarDB MySQL版的注意事项及限制
X 1.0 PolarDB MySQL版同步至云原生数据仓库 AnalyticDB MySQL 版 2.0 PolarDB MySQL版同步至云原生数据仓库 AnalyticDB MySQL 版 3.0 PolarDB MySQL版同步至阿里云流式数据服务DataHub PolarDB MySQL版同步至Elasticsearch PolarDB ...
PolarDB MySQL版同步至DataHub
通过数据传输服务DTS（Data Transmission Service），您可以将 PolarDB MySQL版 集群同步至 阿里云流式数据服务DataHub，实现增量数据的实时同步，帮助您快速实现使用流计算等大数据产品实时分析数据。前提条件 创建源 PolarDB MySQL版 ...
配置DTS迁移、同步或校验任务
DATAHUB：阿里云流式数据服务DataHub。DB2：自建DB2 LUW。AS400：Db2 for i。ODPS：MaxCompute。Tablestore：表格存储Tablestore。ELK：阿里云检索分析服务Elasticsearch。REDIS：Redis数据库（包括自建Redis和云数据库Redis）。说明 默认...
使用DataHub（实时数据传输）
本文为您介绍流式数据处理服务DataHub。DataHub 是MaxCompute提供的流式数据处理（Streaming Data）服务，它提供流式数据的发布（Publish）和订阅（Subscribe）的功能，让您可以轻松构建基于流式数据的分析和应用。DataHub同样提供流式数据...
产品概述
数据总线 DataHub服务可以对各种移动设备，应用软件，网站服务，传感器等产生的大量流式数据进行持续不断的采集，存储和处理。用户可以编写应用程序或者使用流计算引擎来处理写入到数据总线 DataHub的流式数据比如实时Web访问日志、应用...
数据传输服务（上传）场景与工具
流式数据写入到MaxCompute的方案如下。SDK接口：提供流式语义API，通过流式服务的API可以方便的开发出分布式数据同步服务。数据同步服务：您可以通过数据集成 实时同步任务 实现流式数据写入（StreamX）。数据投递：您可以通过已集成流式...
使用Tunnel命令或Tunnel SDK
使用Streaming Tunnel SDK上传数据 MaxCompute流式数据通道服务提供了以流式的方式把数据写入MaxCompute的能力，使用与原批量数据通道服务不同的一套全新的API及后端服务。MaxCompute流式数据通道服务应用场景如下。场景 说明 特点 大量...
SDK接口
使用说明 您可以基于MaxCompute Studio通过Java SDK使用MaxCompute流式数据通道服务。您可以使用以下配置在MaxCompute Studio上添加指定版本的pom依赖。groupId>...
稳定性说明与使用限制
在流式写入数据到MaxCompute期间，MaxCompute流式数据通道服务会禁止写入的表有更新、删除、插入等数据修改操作。更多信息，请参见 流式数据通道概述。由于禁止修改数据的限制，MaxCompute投递（新版）和MaxCompute投递（旧版）不能同时向...
MaxCompute投递（新版）
在流式写入数据到MaxCompute期间，MaxCompute流式数据通道服务会禁止写入的表有更新、删除、插入等数据修改操作。更多信息，请参见 流式数据通道概述。由于禁止修改数据的限制，MaxCompute投递（新版）和MaxCompute投递（旧版）不能同时向...
2020年
2020-12 功能名称 功能描述 发布时间 发布区域 相关文档 流式数据写入服务（Streaming Tunnel）开始公测 MaxCompute Streaming Tunnel服务，支持通过API方式实现流式数据无感知高QPS写入MaxCompute。2020-12-28 所有区域 流式数据通道概述 ...
2021年
2021-08-10 华北2（北京）华东2（上海）华北3（张家口）华东1（杭州）华南1（深圳）西南1（成都）更新或删除数据（UPDATE|DELETE）MERGE INTO MaxCompute流式数据通道服务功能商业化发布 MaxCompute流式数据通道服务提供流式语义API支持，...
查看同步任务
DataHub DataConnector是把DataHub服务中的流式数据同步到其他云产品中的功能，目前支持将Topic中的数据实时/准实时同步到MaxCompute(ODPS)、OSS、ElasticSearch、RDS Mysql、ADS、TableStore中。用户只需要向DataHub中写入一次数据，并在...
流式ETL
数据传输服务DTS提供的流式数据ETL（Extract Transform Load）功能是一种高效的实时数据加工工具。ETL支持通过可视化拖拉拽操作、Flink SQL语句配置任务，并结合DTS的高效流数据复制能力，可以实现流式数据的抽取、数据转换和加工、数据...
什么是ETL
数据传输服务DTS提供的流式数据ETL（Extract Transform Load）功能是一种高效的实时数据加工工具。ETL支持通过可视化拖拉拽操作、Flink SQL语句配置任务，并结合DTS的高效流数据复制能力，可以实现流式数据的抽取、数据转换和加工、数据...
- 产品推荐
- 这些文档可能帮助您