数据总线的审计事件
数据总线已与操作审计服务集成，您可以在操作审计中查询用户操作数据总线产生的管控事件。操作审计支持将管控事件投递到日志服务SLS的LogStore或对象存储OSS的存储空间中，满足实时审计、问题回溯分析等需求。操作审计记录了用户通过Open...
数据总线DataHub
本文为您介绍数据总线DataHub连接器语法结构、WITH参数和使用示例等。背景信息 阿里云流数据处理平台DataHub是流式数据（Streaming Data）的处理平台，提供对流式数据的发布（Publish）、订阅（Subscribe）和分发功能，让您可以轻松构建...
数据总线
1.数据集成介绍 数据集成标准化的目标是规范应用之间数据的传递方式和表达方式。传递方式：即应用之间的数据如何流通。平台提供了对数据进行增删改查的4个API，以及HTTP2方式的消息订阅机制。表达方式：即应用之间如何对数据内容有一致的...
边缘应用数据总线对接
1.整体介绍 平台提供了对数据进行增删改查的4个API接口。如果两个应用，涉及到相同的数据模型时，是共享一份数据，还是独立管理各自的数据。通过应用声明，应用在上架到应用市场之后，用户就能感知应用与数据之间的关系。目前通用的集成...
服务等级说明
服务等级说明 数据总线服务等级协议 本服务等级协议（Service Level Agreement，以下简称“SLA”）规定了阿里云向客户提供的数据总线（简称“数据总线”）的服务可用性等级指标及赔偿方案。1.定义 1.1 服务周期 一个服务周期为一个自然月。...
产品概述
阿里云流数据处理平台数据总线DataHub是流式数据（Streaming Data）的处理平台，提供对流式数据的发布(Publish)，订阅（Subscribe）和分发功能，让您可以轻松构建基于流式数据的分析和应用。数据总线 DataHub服务可以对各种移动设备，应用...
应用场景
实时数据通道 1.1 接入多种异构数据并投递到下游多种大数据系统 通过数据总线，您可以实时接入APP、WEB、IoT和数据库等产生的异构数据，统一管理，并投递到下游的分析、归档等系统，构建清晰的数据流，让您更好的释放数据的价值。...
功能特性
Datahub数据总线 功能集 功能 功能描述 参考文档 数据接入 API接入 使用REST API方式，将数据写入Datahub API参考 SDK接入 使用SDK将数据传入Datahub Java SDK C++ SDK Go SDK Python SDK 插件接入 使用插件将数据传入Datahub LogStash插件...
功能概览
2.产品功能 2.1 数据接入 提供多种SDK、API和Flume、Logstash等第三方插件，让您高效便捷的把数据接入到数据总线。2.2 数据投递 提供DataConnector模块，稍作配置即可把接入的数据实时同步到下游MaxCompute、OSS、TableStore等存储分析系统...
产品定价
产品定价 数据总线产品已于2020年4月20号正式开始商业化收费，目前仅支持按量付费的计费模式，根据用户实际使用量来梯度计费，每月也为用户准备了一定的免费额度 按量付费 按量付费的单价，请查看产品价格。扣费周期为天：每天为您提供账单...
能力介绍
基于数据总线的应用间数据集成方案。数据集成介绍 数据集成标准化的目标是规范应用之间数据的传递方式和表达方式。传递方式：即应用之间的数据如何流通。平台提供了对数据进行增删改查的4个API，以及HTTP2方式的消息订阅机制。表达方式：即...
ALIYUN:DATAHUB:Project
ALIYUN:DATAHUB:Project类型用于创建数据总线项目。阿里云支持在以下地域创建数据总线项目：中国（杭州）中国（上海）中国（北京）中国（张家口）中国（深圳）新加坡 马来西亚（吉隆坡）德国（法兰克福）印度（孟买）语法 {"Type":"ALIYUN:...
事件目标参数
请求参数 参数 类型 是否必选 示例值 描述 EventBusName String 是 default 事件总线的名称。更多信息，请参见 使用限制。RuleName String 是 MNSRule 事件规则的名称。更多信息，请参见 使用限制。Description String 否 MNS的过滤规则。...
数据保护与数据安全
事件总线EventBridge 具有丰富的安全防护能力，通过多项合规认证，支持服务器端加密、客户端加密、细粒度权限管控等特性，为您的云端数据安全进行全方位的保驾护航，满足您企业数据的安全与合规要求。静态加密 事件总线EventBridge 静态...
快速入门
uf-f/temp/test.csv-p test_topic-t test_topic-m","-n 1000 Web页面查看数据是否写入成功，根据最新数据写入时间和数据总量查看数据写入情况。数据抽样，检查数据质量。选择抽样shard以及抽样起始时间。点击抽样，即可查看数据。步骤四：...
删除同步任务
删除同步任务 在创建完成同步任务后，不需要使用可以对同步任务进行删除，具体删除步骤如下：切换到数据同步页签，选择所要删除同步任务，点击删除。
同步任务修改
具体步骤如下：在数据同步页签，点击查看connector 2.选择需要同步的字段，选择完成后点击更新即可，无需重启 3.更新成功后再次查看同步详情，字段修改同点位重置 同步任务点位重置 步骤 一：暂停同步任务 步骤 二：点击重置，选择重置时间...
查看同步任务
DataHub DataConnector是把DataHub服务中的流式数据同步到其他云产品中的功能，目前支持将Topic中的数据实时/准实时同步到MaxCompute(ODPS)、OSS、ElasticSearch、RDS Mysql、ADS、TableStore中。用户只需要向DataHub中写入一次数据，并在...
新功能发布记录
2020年6月 新功能/特性 简要概述 类别 文档 支持同步数据到Hologres 支持同步数据到Hologres 数据同步 创建同步Hologres 兼容Kafka 可以使用原生Kafka客户端将数据写入DataHub 开发指南 兼容Kafka Canal插件 使用canal将MySql的增量数据...
服务条款
保密资料指由一方向另一方披露的所有技术及非技术信息（包括但不限于产品资料、产品计划、价格、财务及营销规划、业务战略、客户信息、客户数据、研发资料、软件硬件、API应用数据接口、技术说明、设计、特殊公式和特殊算法等）。...
Python SDK
print("=")except Exception as e:print(traceback.format_exc())sys.exit(-1)Topic操作 Tuple Topic Tuple类型Topic写入的数据是有格式的，需要指定Record Schema，目前支持以下几种数据类型：类型 含义 值域 Bigint 8字节有符号整型。...
常见问题
如何删除Topic中的数据 datahub目前不支持删除Topic中的数据，建议采用重置点位来让数据失效。在配置所定义的OSS路径下以随机文件名创建文件，每个Shard对应一个文件，当文件大小达到5GB时，将创建新文件，可以修改吗？不能修改 ADS无法...
Go SDK
创建Topic Tuple Topic 说明 CreateTupleTopic(projectName,topicName,comment string,shardCount,lifeCycle int,recordSchema*RecordSchema)error Tuple类型Topic写入的数据是有格式的，需要指定Record Schema，目前支持以下几种数据类型...
概述
DataHub数据同步功能 DataHub提供数据Sink/Source功能，即数据同步功能，DataHub支持将对应Topic中的数据 实时/准实时 的同步到第三方阿里云产品中，打通阿里云产品间的数据流通。目前支持MaxCompute（原ODPS）、分析型数据库MySQL(ADS)、...
API参考
公共返回Header 名字 描述 Content-Type 传输数据序列化协议 Content-Length 传输数据长度 x-datahub-request-id 全局唯一请求ID 3.错误码 名字 描述 备注 InvalidParameter 参数错误 InvalidCursor Cursor无效 NoSuchXXX 资源不存在 ...
创建同步MaxCompute
创建MaxCompute表 DataHub支持将数据同步到MaxCompute对应的数据表中，同时支持分区表和非分区表，一般情况下推荐用户使用分区表进行数据同步以方便MaxCompute数据处理。目前DataHub支持将TUPLE和BLOB的数据同步到MaxCompute数据表中。1）...
读写数据
读写数据 用户可以调用SDK方法进行读写数据状态为CLOSED和ACTIVE的shard都可以读取数据，不过只有状态为ACTIVE的shard可以写数据。同时用户可以引入datahub-client-library依赖，datahub-client-library是在Java-SDK读写功能的封装，用户...
Project操作
创建Project 控制台地址 DataHub WebConsole 创建Project 在WebConsole中直接点击创建Project后填写相关信息,注意同一个Region内...需要注意的是，一旦删除Project，该Project下所有Topic，数据，及资源均被删除，无法恢复，请谨慎操作。
创建同步ADS
2.同步说明 1）目前DataHub仅支持将TUPLE数据同步到ADS服务中2）ReplaceInto与IgnoreInto：ReplaceInto模式下，会使用replace into语句将数据插入，反之，IgnoreInto会使用insert方式插入数据库（replace into将根据主键覆盖记录，ignore ...
创建同步OSS
同步说明 1）目前DataHub支持将TUPLE和BLOB数据同步到OSS中 TUPLE:采用csv数据格式，每个Record中的column数据以逗号分隔，Record之间采用 换行符' ' 分隔 BLOB:采用Append方式进行数据追加，如果用户需要拆分OSS数据，用户需要自己往...
限制描述
50 Topic限制 每个Project内能创建的Topic数量限制，如有特殊请求请联系管理员 500 Topic Lifecycle限制 每个Topic中数据保存的最大时长，单位是天[1,7]单次batch写入条数 每次batch写入数据最大条数限制 10000条 命名规范 名词 描述 长度...
DataHub成本节省攻略
历史经验告诉我们，读写操作在服务端感知用户的数据内容是一个相对冗余的操作，所以我们让数据使用一个大的buffer来交互，不再去感知真正的数据内容，真正需要用到数据内容的地方再解析出来（例如同步任务），写入时的数据校验全部推到客户...
创建同步Fc
Service:目标函数计算的服务名 Function:目标函数计算的函数名 起始时间:表示从DataHub的topic中哪个位置的记录开始调用函数计算 5.Event结构定义 发送到函数计算的数据遵循以下数据结构定义：{"eventSource":"acs:datahub","eventName":...
创建同步Hologres
无 主键同步策略 当Hologres表设置主键时，从DataHub写入的数据的同步策略 replace:当写入发生主键冲突时，新的数据覆盖老数据 ignore:写入时发生主键冲突，忽略新数据，即数据不更新，仍然使用老数据 同步场景 DataHub同步到Hologres的...
Shard操作
无法按HashKey和PartitionKey方式写入数据，需要自定义在应用层hash取模，并且需要注意扩容导致的写入shard发生变化 Shard水平扩展模式 DataHub支持Topic Shard 水平扩展，创建Topic时开启Shard扩展模式即可 步骤一 开启Shard扩展模式 步骤...
数据库实时导入DataHub
为了更加方便让数据库数据实时导入到DataHub，联合数据集成一起开发了“数据库实时导入到DataHub”，尽量简化数据流入DataHub的流程。整体流程如下：使用图解 主账号使用方式：打开公有云DataHub Console，选择对应的Project，点击右上角的...
创建同步TableStore
选择同步TableStore并填写相关配置：在DataConnector页面查看数据归档状态：配置说明 名称 是否必须 描述 TableStore Endpoint yes TableStore服务内网地址 TableStore实例名 yes TableStore实例名 TableStore表名 yes 同步到TableStore的...
指标查看
QPS QPS指标包括读请求QPS和写请求QPS,如下图所示:RPS RPS指标主要包括读请求RPS和写请求RPS,如下图所示:Throughput Throughput指标主要包含写数据吞吐量和读数据吞吐量，如下图所示:Throughput(Uncompressed)说明 该指标为DataHub 2.25...
Java SDK
ShardSealedException InvalidShardOperation shard 处于CLOSED状态可读不可写，继续往CLOSED的shard 写数据，或读到最后一条数据后继续读取，会抛出该异常。LimitExceededException LimitExceeded 接口使用超限，参考 限制描述。...
- 产品推荐
- 这些文档可能帮助您