产品概述
数据总线 DataHub 和StreamCompute无缝结合，可以作为StreamCompute的数据源和输出源，具体可参考 实时计算文档 流处理应用 用户可以编写应用订阅数据总线 DataHub中的数据，并进行实时的加工，把加工后的结果输出。用户可以把应用计算产生...
概述
DataHub数据同步功能 DataHub提供数据Sink/Source功能，即数据同步功能，DataHub支持将对应Topic中的数据 实时/准实时 的同步到第三方阿里云产品中，打通阿里云产品间的数据流通。目前支持MaxCompute（原ODPS）、分析型数据库MySQL(ADS)、...
应用场景
2.实时数据清洗和分析 2.1 接入多种异构数据，实时清洗并归一化 通过数据总线和实时计算，您可以把多种数据源的异构数据实时清洗成统一的结构化数据，为进一步分析做准备。2.2 收益 实时ETL 接入多种数据源，实时进行清洗、过滤、关联与...
创建同步OSS
准备OSS Bucket DataHub支持将数据同步到对象存储OSS中，在创建同步任务前，用户首先需要在OSS管控台创建OSS Bucket，作为DataHub数据同步的目标Bucket。2.服务关联角色授权 用户配置同步任务时，账号可以选择使用 AccessId/AccessKey 静态...
创建同步MaxCompute
1）针对TUPLE类型topic，MaxCompute目标表数据类型需要和DataHub数据类型相匹配，具体的数据类型映射关系如下：MaxCompute DataHub BIGINT BIGINT STRING STRING BOOLEAN BOOLEAN DOUBLE DOUBLE DATETIME TIMESTAMP DECIMAL DECIMAL ...
快速入门
参数 描述 Project 项目（Project）是DataHub数据的基本组织单元,下面包含多个Topic。值得注意的是，DataHub的项目空间与MaxCompute的项目空间是相互独立的。用户在MaxCompute中创建的项目不能复用于DataHub，需要独立创建。描述 Project的...
名词解释
名词解释 名词 解释 Project 项目（Project）是DataHub数据的基本组织单元,下面包含多个Topic。值得注意的是，DataHub的项目空间与MaxCompute的项目空间是相互独立的。用户在MaxCompute中创建的项目不能复用于DataHub，需要独立创建。Topic...
服务等级说明
服务等级说明 数据总线服务等级协议 本服务等级协议（Service Level Agreement，以下简称“SLA”）规定了阿里云向客户提供的数据总线（简称“数据总线”）的服务可用性等级指标及赔偿方案。1.定义 1.1 服务周期 一个服务周期为一个自然月。...
新功能发布记录
2020年6月 新功能/特性 简要概述 类别 文档 支持同步数据到Hologres 支持同步数据到Hologres 数据同步 创建同步Hologres 兼容Kafka 可以使用原生Kafka客户端将数据写入DataHub 开发指南 兼容Kafka Canal插件 使用canal将MySql的增量数据...
DataHub成本节省攻略
这个就是我们引入的batch序列化，batch序列化本质上就是DataHub数据传输中数据的定义的一种组织方式，batch并不是特指某种序列化的方式，而是对序列化的数据做了一个二次封装，比如我一次发送100条数据，那我把这100条数据序列化后得到一个...
功能概览
2.产品功能 2.1 数据接入 提供多种SDK、API和Flume、Logstash等第三方插件，让您高效便捷的把数据接入到数据总线。2.2 数据投递 提供DataConnector模块，稍作配置即可把接入的数据实时同步到下游MaxCompute、OSS、TableStore等存储分析系统...
产品定价
产品定价 数据总线产品已于2020年4月20号正式开始商业化收费，目前仅支持按量付费的计费模式，根据用户实际使用量来梯度计费，每月也为用户准备了一定的免费额度 按量付费 按量付费的单价，请查看产品价格。扣费周期为天：每天为您提供账单...
创建同步ADS
准备ADS实例和表结构 使用ADS管控台新建ADS集群DataHub同步时，会根据DataHub Field的数据类型同步到对应的ADS数据类型中，对应的类型映射关系如下所示：DataHub MySQL TINYINT TINYINT SMALLINT SMALLINT INTEGER INT BIGINT BIGINT ...
功能特性
Datahub数据总线 功能集 功能 功能描述 参考文档 数据接入 API接入 使用REST API方式，将数据写入Datahub API参考 SDK接入 使用SDK将数据传入Datahub Java SDK C++ SDK Go SDK Python SDK 插件接入 使用插件将数据传入Datahub LogStash插件...
查看同步任务
DataHub DataConnector是把DataHub服务中的流式数据同步到其他云产品中的功能，目前支持将Topic中的数据实时/准实时同步到MaxCompute(ODPS)、OSS、ElasticSearch、RDS Mysql、ADS、TableStore中。用户只需要向DataHub中写入一次数据，并在...
创建同步Fc
Service:目标函数计算的服务名 Function:目标函数计算的函数名 起始时间:表示从DataHub的topic中哪个位置的记录开始调用函数计算 5.Event结构定义 发送到函数计算的数据遵循以下数据结构定义：{"eventSource":"acs:datahub","eventName":...
创建同步RDS/MySQL/ADS3.0
schema如下图所示：建立同步任务这里写入模式选择IGNORE，导入所有字段 向DataHub中写入TUPLE数据，数据内容如下图所示，共4条数据 确认同步数据这里采用MySQL客户端连接RDS服务查看数据，数据结果如下图所示：同步数据到MySQL 准备工作 1....
OGG for Oracle介绍
INTEGER BIGINT BINARY_FLOAT/BINARY_DOUBLE DOUBLE/DECIMAL FLOAT DOUBLE/DECIMAL date/timestamp TIMESTAMP/STRING 如果DataHub数据类型为TIMESTAMP，会自动转换为微秒时间戳 raw STRING raw字段会自动进行BASE64编码写入到DataHub 以上...
创建同步ElasticSearch
脏数据 ES6 f1 v2 {f1:v1,f4:v4,f5:v5,f6:v6} ES7-v2 {f1:v1,f4:v4,f5:v5,f6:v6} 数据=v1,null,v3,v4,v5,v6 ES版本 type id data ES5-id属性列为null，脏数据 ES6-id属性列为null，脏数据 ES7-id属性列为null，脏数据 数据=v1,v2,null,v4,v...
兼容Kafka
DataHub已经完全兼容Kafka协议，您可以使用原生Kafka客户端对DataHub进行读写操作。相关介绍 Kafka映射DataHub介绍 Topic类型 Kafka的Topic扩容方式和DataHub的topic扩容方式不同，为了适配Kafka的topic扩容方式，DataHub创建topic时需要将...
数据库实时导入DataHub
为了更加方便让数据库数据实时导入到DataHub，联合数据集成一起开发了“数据库实时导入到DataHub”，尽量简化数据流入DataHub的流程。整体流程如下：使用图解 主账号使用方式：打开公有云DataHub Console，选择对应的Project，点击右上角的...
删除同步任务
删除同步任务 在创建完成同步任务后，不需要使用可以对同步任务进行删除，具体删除步骤如下：切换到数据同步页签，选择所要删除同步任务，点击删除。
Fluentd插件
sudo gem install-local fluent-plugin-datahub-0.12.25.gem 使用案例 案例一：CSV文件上传 下面以增量的CSV文件为例，说明下如何使用Fluentd将增量的CSV文件准实时上传到DataHub数据。CSV文件的格式如下所示：0,qe614c760fuk8judu01tn5x...
云监控报警
DataHub目前已经支持云监控报警，你可以通过创建报警规则方式对DataHub相关指标进行监控并报警，目前支持 订阅延迟、消费延迟、消费堆积量。查看监控数据 您可以在DataHub的监控页面，查看资源的运行状态和各个指标的使用情况。登录 云监控...
Flume插件
产品介绍 Flume-DataHub插件是基于Flume开发的DataHub数据订阅/发布插件，可以将采集到的数据写入DataHub，也可以从DataHub读取数据写入其他系统。该插件遵守Flume插件开发规范，安装方便，可以很方便的向DataHub发布/订阅数据。产品安装 ...
创建同步Hologres
default:将Datahub数据逐条写入Hologres dts_old:不启用新的附加列规则 dts:启动新的附件列规则 导入字段 需要导入Hologres的字段。可以根据实际业务需求选择导入部分或全部字段。鉴权模式 默认为AK。无 AccessId 访问Hologres实例的...
限制描述
50 Topic限制 每个Project内能创建的Topic数量限制，如有特殊请求请联系管理员 500 Topic Lifecycle限制 每个Topic中数据保存的最大时长，单位是天[1,7]单次batch写入条数 每次batch写入数据最大条数限制 10000条 命名规范 名词 描述 长度...
OGG for Bigdata(Kafka)
对于Oracle19c及以下的版本均可以支持，目前OGG for Bigdata可以将数据写入Kafka，而DataHub已经兼容Kafka Producer协议，所以用户除了使用DataHub插件将Oracle数据写入DataHub之外，还可以使用OGG for Bigdata利用DataHub的Kafka接口写入...
创建同步TableStore
数据类型映射关系 OTS DataHub INTEGER TINYINT INTEGER SMALLINT INTEGER INTEGER INTEGER BIGINT INTEGER TIMESTAMP DOUBLE FLOAT DOUBLE DOUBLE BOOLEAN BOOLEEAN STRING STRING STRING DECIMAL BINARY 不支持 注意事项 TableStore表的...
DataHub服务关联角色
背景信息 DataHub服务关联角色（AliyunServiceRoleForDataHub）是在同步到OSS/OTS/FC时，为了完成数据同步功能，需要获取相应云服务的访问权限，而提供的RAM角色。更多关于服务关联角色的信息请参见 服务关联角色。应用场景 DataHub创建了...
DataHub-Dataworks Connection服务关联角色
DataHub-Dataworks Connection服务关联角色（AliyunServiceRoleForDataHubDWConnection）是在选择数据库实时导入时，为了完成DataWorks工作空间查询及创建，需要获取DataWorks的访问权限而提供的RAM角色。更多关于服务关联角色的信息请参见...
Python SDK
如果安装过程中出现错误信息’Python.h:No such file or directory’，常用的操作系统安装方式如下$sudo apt-get install python-dev#for python2.x installs$sudo apt-get install python3-dev#for python3.x installs$sudo yum install ...
OGG插件介绍
并且可以用来获取自定义格式时间，获取的时间为数据在数据源库修改的时间，具体方式可参考以下内容 constColumnMap 获取时间参数说明 参数 含义%t Unix毫秒时间戳%a 星期别名(Mon,Tue,…)%A 星期全名(Monday,Tuesday,…)%b 月别名(Jan,Feb,...
Canal插件
canal[kə’næl]，译意为水道/管道/沟渠，主要用途是基于 MySQL 数据库增量日志解析，提供增量数据订阅和消费。早期阿里巴巴因为杭州和美国双机房部署，存在跨机房同步的业务需求，实现方式主要是基于业务 trigger 获取增量变更。从 2010 ...
OGG Adapters
一、环境要求 源端已安装好Oracle11g（当前插件版本仅支持ORA11g数据库）源端已安装好OGG（建议版本Oracle GoldenGate V12.2.0.2，V12.2.X均可以使用）目标端已安装好OGG Adapters（建议版本Oracle GoldenGate Application Adapters V12.2....
OGG for Big Data
一、环境要求 Oracle数据库，19c及以下数据库，版本不可高于源端OGG 源端，Oracle GoldenGate 19.1.0.0 目标端,Oracle GoldenGate for Big Data 19.1.0.0 OGG官方下载地址 备注：本文示例均已OGG19.1为例，其他支持版本可参看文末版本说明 ...
LogStash插件
使用Logstash，您可以轻松享受到Logstash开源社区多达30+种数据源支持（file，syslog，redis，log4j，apache log或nginx log），同时Logstash还支持filter对传输字段自定义ss加工等功能。下面我们就以Logstash日志采集为例介绍如何使用...
通过STS方式访问DataHub
STS令牌持有者可以通过编程方式或者 调用OpenAPI 获取临时安全令牌来访问DataHub。示例代码 添加Maven依赖<dependency><groupId>...
Go SDK
ok { fmt.Println("Subscription used by other one")break } else { fmt.Println("Commit offset failed",err)break } } recordCount=0 } } cursor=gr.NextCursor } } 接口示例 project 操作 项目（Project）是DataHub数据的基本组织单元,...
常见问题
Python SDK#Json mode:for datahub server version<= 2.11 dh =DataHub(access_id,access_key,endpoint,enable_pb=False)GO SDK config:=datahub.Config{ EnableBinary:false,} dh:=datahub.NewClientWithConfig(accessId,accessKey,endpoint,...
- 产品推荐
- 这些文档可能帮助您