产品概述
阿里云流数据处理平台数据总线DataHub是流式数据（Streaming Data）的处理平台，提供对流式数据的发布(Publish)，订阅（Subscribe）和分发功能，让您可以轻松构建基于流式数据的分析和应用。数据总线 DataHub服务可以对各种移动设备，应用...
功能特性
Datahub数据总线 功能集 功能 功能描述 参考文档 数据接入 API接入 使用REST API方式，将数据写入Datahub API参考 SDK接入 使用SDK将数据传入Datahub Java SDK C++ SDK Go SDK Python SDK 插件接入 使用插件将数据传入Datahub LogStash插件...
Flume插件
产品介绍 Flume-DataHub插件是基于Flume开发的DataHub数据订阅/发布插件，可以将采集到的数据写入DataHub，也可以从DataHub读取数据写入其他系统。该插件遵守Flume插件开发规范，安装方便，可以很方便的向DataHub发布/订阅数据。产品安装 ...
创建同步OSS
准备OSS Bucket DataHub支持将数据同步到对象存储OSS中，在创建同步任务前，用户首先需要在OSS管控台创建OSS Bucket，作为DataHub数据同步的目标Bucket。2.服务关联角色授权 用户配置同步任务时，账号可以选择使用 AccessId/AccessKey 静态...
新功能发布记录
2020年6月 新功能/特性 简要概述 类别 文档 支持同步数据到Hologres 支持同步数据到Hologres 数据同步 创建同步Hologres 兼容Kafka 可以使用原生Kafka客户端将数据写入DataHub 开发指南 兼容Kafka Canal插件 使用canal将MySql的增量数据...
概述
DataHub数据同步功能 DataHub提供数据Sink/Source功能，即数据同步功能，DataHub支持将对应Topic中的数据 实时/准实时 的同步到第三方阿里云产品中，打通阿里云产品间的数据流通。目前支持MaxCompute（原ODPS）、分析型数据库MySQL(ADS)、...
创建同步MaxCompute
1）针对TUPLE类型topic，MaxCompute目标表数据类型需要和DataHub数据类型相匹配，具体的数据类型映射关系如下：MaxCompute DataHub BIGINT BIGINT STRING STRING BOOLEAN BOOLEAN DOUBLE DOUBLE DATETIME TIMESTAMP DECIMAL DECIMAL ...
查看同步任务
DataHub DataConnector是把DataHub服务中的流式数据同步到其他云产品中的功能，目前支持将Topic中的数据实时/准实时同步到MaxCompute(ODPS)、OSS、ElasticSearch、RDS Mysql、ADS、TableStore中。用户只需要向DataHub中写入一次数据，并在...
创建同步ADS
准备ADS实例和表结构 使用ADS管控台新建ADS集群DataHub同步时，会根据DataHub Field的数据类型同步到对应的ADS数据类型中，对应的类型映射关系如下所示：DataHub MySQL TINYINT TINYINT SMALLINT SMALLINT INTEGER INT BIGINT BIGINT ...
数据库实时导入DataHub
为了更加方便让数据库数据实时导入到DataHub，联合数据集成一起开发了“数据库实时导入到DataHub”，尽量简化数据流入DataHub的流程。整体流程如下：使用图解 主账号使用方式：打开公有云DataHub Console，选择对应的Project，点击右上角的...
名词解释
名词解释 名词 解释 Project 项目（Project）是DataHub数据的基本组织单元,下面包含多个Topic。值得注意的是，DataHub的项目空间与MaxCompute的项目空间是相互独立的。用户在MaxCompute中创建的项目不能复用于DataHub，需要独立创建。Topic...
服务等级说明
服务等级说明 数据总线服务等级协议 本服务等级协议（Service Level Agreement，以下简称“SLA”）规定了阿里云向客户提供的数据总线（简称“数据总线”）的服务可用性等级指标及赔偿方案。1.定义 1.1 服务周期 一个服务周期为一个自然月。...
Fluentd插件
sudo gem install-local fluent-plugin-datahub-0.12.25.gem 使用案例 案例一：CSV文件上传 下面以增量的CSV文件为例，说明下如何使用Fluentd将增量的CSV文件准实时上传到DataHub数据。CSV文件的格式如下所示：0,qe614c760fuk8judu01tn5x...
快速入门
参数 描述 Project 项目（Project）是DataHub数据的基本组织单元,下面包含多个Topic。值得注意的是，DataHub的项目空间与MaxCompute的项目空间是相互独立的。用户在MaxCompute中创建的项目不能复用于DataHub，需要独立创建。描述 Project的...
创建同步RDS/MySQL/ADS3.0
schema如下图所示：建立同步任务这里写入模式选择IGNORE，导入所有字段 向DataHub中写入TUPLE数据，数据内容如下图所示，共4条数据 确认同步数据这里采用MySQL客户端连接RDS服务查看数据，数据结果如下图所示：同步数据到MySQL 准备工作 1....
创建同步Hologres
default:将Datahub数据逐条写入Hologres dts_old:不启用新的附加列规则 dts:启动新的附件列规则 导入字段 需要导入Hologres的字段。可以根据实际业务需求选择导入部分或全部字段。鉴权模式 默认为AK。无 AccessId 访问Hologres实例的...
应用场景
实时数据通道 1.1 接入多种异构数据并投递到下游多种大数据系统 通过数据总线，您可以实时接入APP、WEB、IoT和数据库等产生的异构数据，统一管理，并投递到下游的分析、归档等系统，构建清晰的数据流，让您更好的释放数据的价值。...
云监控报警
DataHub目前已经支持云监控报警，你可以通过创建报警规则方式对DataHub相关指标进行监控并报警，目前支持 订阅延迟、消费延迟、消费堆积量。查看监控数据 您可以在DataHub的监控页面，查看资源的运行状态和各个指标的使用情况。登录 云监控...
常见问题
如何删除Topic中的数据 datahub目前不支持删除Topic中的数据，建议采用重置点位来让数据失效。在配置所定义的OSS路径下以随机文件名创建文件，每个Shard对应一个文件，当文件大小达到5GB时，将创建新文件，可以修改吗？不能修改 ADS无法...
OGG for Oracle介绍
INTEGER BIGINT BINARY_FLOAT/BINARY_DOUBLE DOUBLE/DECIMAL FLOAT DOUBLE/DECIMAL date/timestamp TIMESTAMP/STRING 如果DataHub数据类型为TIMESTAMP，会自动转换为微秒时间戳 raw STRING raw字段会自动进行BASE64编码写入到DataHub 以上...
DataHub成本节省攻略
这个就是我们引入的batch序列化，batch序列化本质上就是DataHub数据传输中数据的定义的一种组织方式，batch并不是特指某种序列化的方式，而是对序列化的数据做了一个二次封装，比如我一次发送100条数据，那我把这100条数据序列化后得到一个...
DataHub服务关联角色
本文为您介绍DataHub服务关联角色（AliyunServiceRoleForDataHub）的应用场景以及如何删除服务关联角色。DataHub服务关联角色 本文为您介绍DataHub服务关联角色（AliyunServiceRoleForDataHub）的应用场景以及如何删除服务关联角色。背景...
LogStash插件
上传至DataHub请使用：DataHub Logstash Output插件 logstash-output-datahub-1.0.10.gem 适配Logstash 6、7 logstash-output-datahub-1.0.12.gem 适配Logstash 8 下载DataHub中数据请使用：DataHub Logstash Input插件 logstash-input-...
创建同步TableStore
数据类型映射关系 OTS DataHub INTEGER TINYINT INTEGER SMALLINT INTEGER INTEGER INTEGER BIGINT INTEGER TIMESTAMP DOUBLE FLOAT DOUBLE DOUBLE BOOLEAN BOOLEEAN STRING STRING STRING DECIMAL BINARY 不支持 注意事项 TableStore表的...
同步任务修改
DataHub 页面现在已经支持同步字段修改，用户可以在页面上进行同步字段的修改，无需重启。同步任务字段修改 DataHub 页面现在已经支持同步字段修改，用户可以在页面上进行同步字段的修改，无需重启。具体步骤如下：在数据同步页签，点击...
DataHub-Dataworks Connection服务关联角色
DataHub-Dataworks Connection服务关联角色（AliyunServiceRoleForDataHubDWConnection）是在选择数据库实时导入时，为了完成DataWorks工作空间查询及创建，需要获取DataWorks的访问权限而提供的RAM角色。更多关于服务关联角色的信息请参见...
功能概览
2.产品功能 2.1 数据接入 提供多种SDK、API和Flume、Logstash等第三方插件，让您高效便捷的把数据接入到数据总线。2.2 数据投递 提供DataConnector模块，稍作配置即可把接入的数据实时同步到下游MaxCompute、OSS、TableStore等存储分析系统...
OGG for MySQL
数据变更序号同步到datahub对应的字段,按数据变更先后递增,不保证连续,可以被columnMapping中的cidColumn覆盖-><cidColumn>record_id</cidColumn></defalutDatahubConfigure>!默认最严格，不落文件 直接退出 无限重试->!运行每批上次的最多...
产品定价
产品定价 数据总线产品已于2020年4月20号正式开始商业化收费，目前仅支持按量付费的计费模式，根据用户实际使用量来梯度计费，每月也为用户准备了一定的免费额度 按量付费 按量付费的单价，请查看产品价格。扣费周期为天：每天为您提供账单...
Project操作
创建Project 控制台地址 DataHub WebConsole 创建Project 在WebConsole中直接点击创建Project后填写相关信息,注意同一个Region内...需要注意的是，一旦删除Project，该Project下所有Topic，数据，及资源均被删除，无法恢复，请谨慎操作。
OGG for Big Data
一、环境要求 Oracle数据库，19c及以下数据库，版本不可高于源端OGG 源端，Oracle GoldenGate 19.1.0.0 目标端,Oracle GoldenGate for Big Data 19.1.0.0 OGG官方下载地址 备注：本文示例均已OGG19.1为例，其他支持版本可参看文末版本说明 ...
OGG Adapters
一、环境要求 源端已安装好Oracle11g（当前插件版本仅支持ORA11g数据库）源端已安装好OGG（建议版本Oracle GoldenGate V12.2.0.2，V12.2.X均可以使用）目标端已安装好OGG Adapters（建议版本Oracle GoldenGate Application Adapters V12.2....
Group操作
group是一组topic的集合，以group为单位进行数据订阅，就可以订阅group内的所有topic，目前主要用于kafka协议兼容。为了更好兼容Kafka订阅方式，支持同时订阅多个Topic，DataHub提供了group的功能，用户可以在project下创建group并绑定想要...
Topic操作
需要注意的是，一旦删除Topic，该Topic下的数据，资源(Shard,Connector)均被删除，无法恢复，请谨慎操作。新增Version DataHub允许对已经创建的Topic进行字段的修改，并生成新的version版本。注意：对于使用DTS、以及Logstash插件、Flume...
Shard操作
无法按HashKey和PartitionKey方式写入数据，需要自定义在应用层hash取模，并且需要注意扩容导致的写入shard发生变化 Shard水平扩展模式 DataHub支持Topic Shard 水平扩展，创建Topic时开启Shard扩展模式即可 步骤一 开启Shard扩展模式 步骤...
Canal插件
canal[kə’næl]，译意为水道/管道/沟渠，主要用途是基于 MySQL 数据库增量日志解析，提供增量数据订阅和消费。早期阿里巴巴因为杭州和美国双机房部署，存在跨机房同步的业务需求，实现方式主要是基于业务 trigger 获取增量变更。从 2010 ...
创建同步Fc
创建同步Fc 1.创建函数计算Function 1.1 新建Service 在函数计算控制台中创建Service。...当函数发生运行时错误时，DataHub会在1s之后进行重试，失败次数达到512时，任务将被挂起；可在Web控制台查看任务运行状态以及点位，详细出错信息等；
Go SDK
Go SDK介绍 快速上手 DataHub相关的基本概念 详情参见 DataHub基本概念 准备工作 访问DataHub服务需要使用阿里云认证账号，需要提供阿里云accessId及accessKey。同时需要提供可访问的DataHub服务地址。获取Datahub Go SDK包 go get-u-...
社区文章
DataHub社区文章 简介：DataHub在云栖社区输出了一系列文章，有助于您了解和使用DataHub DataHub操作指南 DataHub使用指南 新功能说明 datahub3月份新功能概览 DataHub常见问题归类 Topic：...
用户支持
DataHub公共云用户群 欢迎扫码加入钉钉用户群。
- 产品推荐
- 这些文档可能帮助您