数据库实时导入DataHub
为了更加方便让数据库数据实时导入到DataHub，联合数据集成一起开发了“数据库实时导入到DataHub”，尽量简化数据流入DataHub的流程。整体流程如下：使用图解 主账号使用方式：打开公有云DataHub Console，选择对应的Project，点击右上角的...
DataHub服务关联角色
背景信息 DataHub服务关联角色（AliyunServiceRoleForDataHub）是在同步到OSS/OTS/FC时，为了完成数据同步功能，需要获取相应云服务的访问权限，而提供的RAM角色。更多关于服务关联角色的信息请参见 服务关联角色。应用场景 DataHub创建了...
DataHub成本节省攻略
这个就是我们引入的batch序列化，batch序列化本质上就是DataHub数据传输中数据的定义的一种组织方式，batch并不是特指某种序列化的方式，而是对序列化的数据做了一个二次封装，比如我一次发送100条数据，那我把这100条数据序列化后得到一个...
通过STS方式访问DataHub
datahub.endpoint=<yourEndpoint>datahub.accessId=<yourAccessKeyId>datahub.accessKey=重要 阿里云账号AccessKey拥有所有API的访问权限，建议您使用RAM用户进行API访问或日常运维。强烈建议不要将AccessKey ID和AccessKey Secret保存到...
DataHub-Dataworks Connection服务关联角色
DataHub-Dataworks Connection服务关联角色（AliyunServiceRoleForDataHubDWConnection）是在选择数据库实时导入时，为了完成DataWorks工作空间查询及创建，需要获取DataWorks的访问权限而提供的RAM角色。更多关于服务关联角色的信息请参见...
数据总线DataHub
本文为您介绍数据总线DataHub连接器语法结构、WITH参数和使用示例等。背景信息 阿里云流数据处理平台DataHub是流式数据（Streaming Data）的处理平台，提供对流式数据的发布（Publish）、订阅（Subscribe）和分发功能，让您可以轻松构建...
DataHub
背景信息 为了Spark能正常消费到DataHub数据，您需要将本地准备的模拟测试数据发送到DataHub，来测试Spark和DataHub的连通性。本文档假设您下载以下模拟测试代码到本地，并执行以下命令运行jar包来发送数据到 spark_test 下的 topic01。...
Datahub Service(DataHub)
Datahub Service(DataHub)
DataHub数据源
DataHub数据源作为数据中枢，为您提供读取和写入DataHub数据库的双向通道，能够快速解决海量数据的计算问题。本文为您介绍DataWorks的DataHub数据同步的能力支持情况。支持的版本 DataHub Reader通过DataHub的Java SDK读取DataHub中的数据...
DataHub数据源
本文介绍如何使用DataHub数据源进行数据分析或者交互式开发。建表语法 CREATE TABLE tbName USING datahub OPTIONS(propertyName=propertyValue[,propertyName=propertyValue]*);Table Schema 创建DataHub表时，无需显式定义表的字段信息，...
配置DataHub输入
DatahubStream Reader插件通过DataHub SDK实时读取DataHub数据的功能。背景信息 插件启动后一直运行，等待源端DataHub有数据后进行读取。DatahubStream Reader插件有以下两个功能：实时读取。根据DataHub Shard个数并发读取。操作步骤 进入...
配置DataHub输出
DataHub是流式数据（Streaming Data）的处理平台，为您提供发布、订阅和分发流式数据的功能，让您可以轻松构建基于流式数据的分析和应用。前提条件 配置DataHub输出节点前，您需要先配置好相应的输入或转换数据源，实时同步支持的数据源。...
Spark对接DataHub
本文介绍如何在E-MapReduce的Hadoop集群，运行Spark作业消费DataHub数据、统计数据个数并打印出来。Spark Streaming消费DataHub 准备工作 使用DataHub的订阅功能订阅Topic，详细信息请参见 创建订阅。消费DataHub数据 运行Spark Streaming...
DataHub单向触发器
然后在Topic详情页面，单击右上角的 同步，通过创建 函数计算 Connector的方式配置数据同步功能，便可以在 函数计算 中使用DataHub数据。步骤一：配置函数入口测试参数 DataHub触发函数执行时，同步的信息以event的形式作为输入参数，通过...
新建 DataHub 数据源
本文为您介绍如何在数据传输中新建 DataHub 数据源。操作步骤 登录 OceanBase 管理控制台。在左侧导航栏，单击 数据传输>数据源管理。在 数据源列表 页面，单击右上角的 新建数据源。在 新建数据源 对话框中，选择 数据源类型 为 DataHub。...
数据转发到DataHub
通过物联网平台云产品流转功能将设备数据流转到数据总线DataHub后，用户可以编写应用程序或者使用流计算引擎来处理写入到数据总线DataHub的流式数据（例如再流转至实时计算、MaxCompute等服务中），产出各种实时的数据处理结果，例如实时...
数据转发到DataHub
通过物联网平台云产品流转功能将设备数据流转到数据总线DataHub后，用户可以编写应用程序或者使用流计算引擎来处理写入到数据总线DataHub的流式数据（例如再流转至实时计算、MaxCompute等服务中），产出各种实时的数据处理结果，例如实时...
创建DataHub数据源
通过创建DataHub数据源能够实现Dataphin读取DataHub的业务数据或向DataHub写入数据。本文为您介绍如何创建DataHub数据源。背景信息 DataHub即阿里云流式数据服务DataHub，如果您使用的是阿里云流式数据服务DataHub，在对接Dataphin进行数据...
alicloud_datahub_topic
The topic is the basic unit of Datahub data source and is used to define one kind of data or stream.It contains a set of subscriptions.You can manage the datahub source of an application by using topics.Refer to details.->...
alicloud_datahub_project
The project is the basic unit of resource management in Datahub Service and is used to isolate and control resources.It contains a set of Topics.You can manage the datahub sources of an application by using projects.Refer ...
alicloud_datahub_service
Using this data source can open DataHub service automatically.If the service has been opened,it will return opened.For information about DataHub and how to use it,see What is DataHub.->NOTE:Available in v1.111.0+->NOTE:The...
创建DataHub数据源
通过创建DataHub数据源能够实现Dataphin读取DataHub的业务数据或向DataHub写入数据。本文为您介绍如何创建DataHub数据源。背景信息 DataHub即阿里云流式数据服务DataHub，如果您使用的是阿里云流式数据服务DataHub，在对接Dataphin进行数据...
alicloud_datahub_subscription
The subscription is the basic unit of resource usage in Datahub Service under Publish/Subscribe model.You can manage the relationships between user and topics by using subscriptions.Refer to details.->NOTE:Available since ...
配置DataHub输出组件
前提条件 已创建DataHub数据源。具体操作，请参见 创建DataHub数据源。进行DataHub输入组件属性配置的账号，需具备该数据源的同步读权限。如果没有权限，则需要申请数据源权限。具体操作，请参见 申请、续期和交还数据源权限。操作步骤 在...
配置DataHub输出组件
前提条件 已创建DataHub数据源。具体操作，请参见 创建DataHub数据源。进行DataHub输入组件属性配置的账号，需具备该数据源的同步读权限。如果没有权限，则需要申请数据源权限。具体操作，请参见 管理数据源权限。操作步骤 在Dataphin首页...
配置DataHub输入组件
配置DataHub输入组件后，可以将DataHub数据源中的数据读取至大数据平台对接的存储系统内，并进行数据整合和二次加工。本文为您介绍如何配置DataHub输入组件。前提条件 已创建离线单条管道，详情请参见 通过单条管道创建集成任务。操作步骤 ...
配置DataHub输入组件
配置DataHub输入组件后，可以将DataHub数据源中的数据读取至大数据平台对接的存储系统内，并进行数据整合和二次加工。本文为您介绍如何配置DataHub输入组件。前提条件 已创建离线单条管道，详情请参见 通过单条管道创建集成任务。操作步骤 ...
创建DataHub项目
阿里云流数据处理平台DataHub是流式数据（Streaming Data）的处理平台，提供对流式数据的发布（Publish），订阅（Subscribe）和分发功能，让您可以轻松构建基于流式数据的分析和应用。前提条件 您已经完成了 创建RDS MySQL数据库表。操作...
ALIYUN:DATAHUB:Project
ALIYUN:DATAHUB:Project类型用于创建数据总线项目。阿里云支持在以下地域创建数据总线项目：中国（杭州）中国（上海）中国（北京）中国（张家口）中国（深圳）新加坡 马来西亚（吉隆坡）德国（法兰克福）印度（孟买）语法 {"Type":"ALIYUN:...
一键实时同步至DataHub
一键实时同步至DataHub方案支持全增量一体化同步，先进行全量数据迁移，然后再实时同步增量数据至目标端。本文为您介绍如何创建一键实时同步至DataHub任务。前提条件 已完成数据源配置。您需要在数据集成同步任务配置前，配置好您需要同步...
ALIYUN:DATAHUB:Topic
ALIYUN:DATAHUB:Topic类型用于创建Topic。阿里云支持在以下地域创建Topic：中国（杭州）中国（上海）中国（北京）中国（张家口）中国（深圳）新加坡 马来西亚（吉隆坡）德国（法兰克福）印度（孟买）语法 {"Type":"ALIYUN:DATAHUB:Topic",...
实时同步DataHub的数据至Hologres
将DataHub数据同步至Hologres适用于需要实时数据分析、实时监控、实时报表和复杂数据结构处理的场景，通过结合DataHub和Hologres的能力，可以提升数据处理和分析的效率和准确性。本文介绍如何创建DataHub数据同步任务以及常见问题。背景...
DataHub命令行创建topic并上传数据
本文为您介绍DataHub命令行创建topic并上传数据的操作流程。操作步骤 下载“DataHub console”，更多信息，请参见 DataHub命令行工具。配置console。解压并运行“datahub_console.tar”。在conf目录中的“datahub.properties”文件填写ak ...
- 产品推荐
- 这些文档可能帮助您