DataHub成本节省攻略
这个就是我们引入的batch序列化，batch序列化本质上就是DataHub数据传输中数据的定义的一种组织方式，batch并不是特指某种序列化的方式，而是对序列化的数据做了一个二次封装，比如我一次发送100条数据，那我把这100条数据序列化后得到一个...
LogStash插件
上传至DataHub请使用：DataHub Logstash Output插件 logstash-output-datahub-1.0.10.gem 适配Logstash 6、7 logstash-output-datahub-1.0.12.gem 适配Logstash 8 下载DataHub中数据请使用：DataHub Logstash Input插件 logstash-input-...
Group操作
group是一组topic的集合，以group为单位进行数据订阅，就可以订阅group内的所有topic，目前主要用于kafka协议兼容。为了更好兼容Kafka订阅方式，支持同时订阅多个Topic，DataHub提供了group的功能，用户可以在project下创建group并绑定想要...
API参考
公共返回Header 名字 描述 Content-Type 传输数据序列化协议 Content-Length 传输数据长度 x-datahub-request-id 全局唯一请求ID 3.错误码 名字 描述 备注 InvalidParameter 参数错误 InvalidCursor Cursor无效 NoSuchXXX 资源不存在 ...
兼容Kafka
Blob Topic Kafka的数据写入Blob Topic时，会把Kafka数据的value写入Blob中，如果Kafka数据的key不为NULL，则会写入DataHub的Attribute，其中key为”_kafka_key_“，value为Kafka数据的key。Header Kafka的Header对应DataHub的Attribute，...
Topic操作
需要注意的是，一旦删除Topic，该Topic下的数据，资源(Shard,Connector)均被删除，无法恢复，请谨慎操作。新增Version DataHub允许对已经创建的Topic进行字段的修改，并生成新的version版本。注意：对于使用DTS、以及Logstash插件、Flume...
Shard操作
无法按HashKey和PartitionKey方式写入数据，需要自定义在应用层hash取模，并且需要注意扩容导致的写入shard发生变化 Shard水平扩展模式 DataHub支持Topic Shard 水平扩展，创建Topic时开启Shard扩展模式即可 步骤一 开启Shard扩展模式 步骤...
域名列表
域名列表 DataHub域名列表 地区 Region 外网Endpoint 经典网络ECS Endpoint VPC ECS Endpoint 华东1(杭州)...southeast-1 ...
创建订阅
订阅功能使用介绍 目前用户在DataHub上消费Topic数据，为了做到“断点续消费”的功能，即消费者failover重启后可以继续从failover时间点继续获取数据，需要用户自己保存当前消费的点位信息，同时用户还需要关心自己的点位存储服务的高可用...
读写数据
读写数据 用户可以调用SDK方法进行读写数据状态为CLOSED和ACTIVE的shard都可以读取数据，不过只有状态为ACTIVE的shard可以写数据。同时用户可以引入datahub-client-library依赖，datahub-client-library是在Java-SDK读写功能的封装，用户...
Python SDK
创建Project 登录 DataHub WebConsole 页面，创建Project 或使用SDK接口进行创建 初始化DataHub import sys import traceback from datahub import DataHub from datahub.exceptions import ResourceExistException from datahub.models ...
console命令工具
f filepath-p test_topic-t test_topic-m","-n 1000 示例：CSV文件上传 下面以CSV文件为例，说明下如何使用console工具将CSV文件上传到DataHub数据。CSV文件的格式如下所示：1.0,qe614c760fuk8judu01tn5x055rpt1,true,100.1,14321111111 2....
Java SDK
} } } 创建订阅消费DataHub数据/点位消费示例，并在消费过程中进行点位的提交 public static void example(){ String shardId="0;List<String>shardIds=Arrays.asList("0","1");OpenSubscriptionSessionResult ...
创建同步Fc
创建同步Fc 1....DataHub仅支持同步模式Invoke函数，保证数据处理顺序；当函数发生运行时错误时，DataHub会在1s之后进行重试，失败次数达到512时，任务将被挂起；可在Web控制台查看任务运行状态以及点位，详细出错信息等；
创建同步TableStore
TableStore表的主键列必须在DataHub Topic下有字段一一对应（定义顺序可以不一致）。当选择STS临时账号方式时，将会自动创建 DataHub服务关联角色，DataHub服务会使用此角色访问TableStore以完成数据同步 操作流程：Project列表->Project...
C++ SDK
Project操作 项目（Project）是DataHub数据的基本组织单元,下面包含多个Topic。值得注意的是，DataHub的项目空间与MaxCompute的项目空间是相互独立的。用户在MaxCompute中创建的项目不能复用于DataHub，需要独立创建。创建project void ...
协同消费
可选，配置数据哈希策略/partition优先顺序:依次按照RecordEntry的shardId,hashKey,partitionKey的顺序计算最终写入的shardId RecordPartitioner partitioner=new DefaultRecordPartitioner();STEP2：异步循环写入数据/try { for(int i=0;i...
删除同步任务
删除同步任务 在创建完成同步任务后，不需要使用可以对同步任务进行删除，具体删除步骤如下：切换到数据同步页签，选择所要删除同步任务，点击删除。
限制描述
50 Topic限制 每个Project内能创建的Topic数量限制，如有特殊请求请联系管理员 500 Topic Lifecycle限制 每个Topic中数据保存的最大时长，单位是天[1,7]单次batch写入条数 每次batch写入数据最大条数限制 10000条 命名规范 名词 描述 长度...
服务条款
保密资料指由一方向另一方披露的所有技术及非技术信息（包括但不限于产品资料、产品计划、价格、财务及营销规划、业务战略、客户信息、客户数据、研发资料、软件硬件、API应用数据接口、技术说明、设计、特殊公式和特殊算法等）。...
删除订阅
删除订阅 点击订阅列表的删除按钮，即可删除订阅 注意：在删除Topic前需先删除订阅，否则会报错
- 产品推荐
- 这些文档可能帮助您