使用DataHub（实时数据传输）
DataHub 是MaxCompute提供的流式数据处理（Streaming Data）服务，它提供流式数据的发布（Publish）和订阅（Subscribe）的功能，让您可以轻松构建基于流式数据的分析和应用。DataHub同样提供流式数据归档的功能，支持流式数据归档至...
创建DataHub项目
阿里云流数据处理平台DataHub是流式数据（Streaming Data）的处理平台，提供对流式数据的发布（Publish），订阅（Subscribe）和分发功能，让您可以轻松构建基于流式数据的分析和应用。前提条件 您已经完成了 创建RDS MySQL数据库表。操作...
流式数据通道概述
流计算Flink：默认使用批量数据通道，支持流式数据通道插件，详情请参见 使用阿里云Flink（流式数据传输）。实时数据同步：默认使用批量数据通道，支持流式数据通道模式，需要联系DataWorks值班同学后台打开。什么是云消息队列 Kafka 版？...
Stream API
Stream API是一种处理流式数据的方法。通过Stream API，您可以在边缘节点上处理流式数据，例如音频和视频。Stream API可以将流式数据分块传输，提高数据传输效率。ReadableStream 定义：ReadableStream的定义，请参见MDN官方文档 ...
Stream API
Stream API是一种处理流式数据的方法。通过Stream API，您可以在边缘节点上处理流式数据，例如音频和视频。Stream API可以将流式数据分块传输，提高数据传输效率。ReadableStream 定义：ReadableStream的定义，请参见MDN官方文档 ...
Stream API
Stream API是一种处理流式数据的方法。通过Stream API，您可以在边缘节点上处理流式数据，例如音频和视频。Stream API可以将流式数据分块传输，提高数据传输效率。ReadableStream 定义：ReadableStream的定义，请参见MDN官方文档 ...
进入数据质量概览（旧版）
模块 描述 我的订阅 为您展示当前登录用户名下订阅的表，所产生的离线数据和流式数据的报警、阻塞数量，以及订阅的总数。全部数据 为您展示当前工作空间下离线数据和流式数据的全部数据情况。报警趋势图 为您展示 近7天、近30天 和 近半年 ...
UNION ALL语句
UNION ALL语句将两个流式数据合并。两个流式数据的字段完全一致，包括字段类型和字段顺序。语法 select_statement UNION ALL select_statement;示例 测试数据 表1：test_source_union1 a（varchar）b（bigint）c（bigint）test1 1 10 表2：...
事件流概述
随着越来越多的数据源持续、快速地产生数据，此类流式数据急需被系统分析和处理。事件流适用于端到端的流式数据处理场景，对源端产生的事件实时抽取、转换和分析并加载至目标端，帮助您轻松处理流式数据。本文介绍事件流功能的应用场景、...
流式ETL
数据传输服务DTS提供的流式数据ETL（Extract Transform Load）功能是一种高效的实时数据加工工具。ETL支持通过可视化拖拉拽操作、Flink SQL语句配置任务，并结合DTS的高效流数据复制能力，可以实现流式数据的抽取、数据转换和加工、数据...
使用Tunnel命令或Tunnel SDK
使用Streaming Tunnel SDK上传数据 MaxCompute流式数据通道服务提供了以流式的方式把数据写入MaxCompute的能力，使用与原批量数据通道服务不同的一套全新的API及后端服务。MaxCompute流式数据通道服务应用场景如下。场景 说明 特点 大量...
什么是ETL
数据传输服务DTS提供的流式数据ETL（Extract Transform Load）功能是一种高效的实时数据加工工具。ETL支持通过可视化拖拉拽操作、Flink SQL语句配置任务，并结合DTS的高效流数据复制能力，可以实现流式数据的抽取、数据转换和加工、数据...
同步任务的注意事项及限制
云原生数据仓库 AnalyticDB MySQL 版 3.0 PolarDB MySQL同步至云原生数据仓库AnalyticDB PostgreSQL PolarDB MySQL版同步至阿里云流式数据服务DataHub PolarDB MySQL版同步至Elasticsearch PolarDB MySQL版同步至阿里云消息队列Kafka、自建...
产品概述
阿里云流数据处理平台数据总线DataHub是流式数据（Streaming Data）的处理平台，提供对流式数据的发布(Publish)，订阅（Subscribe）和分发功能，让您可以轻松构建基于流式数据的分析和应用。数据总线 DataHub服务可以对各种移动设备，应用...
查看同步任务
DataHub DataConnector是把DataHub服务中的流式数据同步到其他云产品中的功能，目前支持将Topic中的数据实时/准实时同步到MaxCompute(ODPS)、OSS、ElasticSearch、RDS Mysql、ADS、TableStore中。用户只需要向DataHub中写入一次数据，并在...
功能简介
流式数据服务的源头为DataHub或RocketMQ的Topic，服务封装为DataHub Topic的读取API，返回Topic中的数据。数据源可以是DataHub和RocketMQ。批量离线数据服务的源头为MaxCompute的数据表，服务封装为根据分区获取分区内全部数据的API。非...
概述
DataHub Connector可以将DataHub中的流式数据同步至MaxCompute。您只需要向DataHub中写入数据，并在DataHub中配置同步功能，便可以在MaxCompute中使用这些数据。详情请参见 通过DataHub迁移日志数据至MaxCompute。此方法多用于公测和自研。...
封装流式数据（DataHub）API
本文介绍如何封装流式数据API。前提条件 工作组管理员账号登录。已创建“信息中心（xxzx）”工作组，具体操作，请参见 新建工作组并添加成员。已在系统设置添加DataHub云计算资源，具体操作，请参见 新建云计算资源。已创建API归属应用，...
创建DataHub数据源
背景信息 DataHub即阿里云流式数据服务DataHub，如果您使用的是阿里云流式数据服务DataHub，在对接Dataphin进行数据开发时，您需要先完成DataHub数据源的创建。更多DataHub信息，请参见 产品概述。权限说明 Dataphin仅支持 超级管理员、...
数据传输与迁移概述
流式数据写入（7天24小时不间断写入）。对数据可见延迟容忍度高（可接受偶发小时级别数据可见延迟）。对请求延迟容忍度高（可接受偶发分钟级别请求延迟）。典型场景。类型 典型场景 数据库Binlog采集 数据集成-数据库实时数据同步。DTS。...
创建Aliyun HBase数据源
背景信息 Aliyun HBase即阿里云的云数据库HBase。如果您使用的是云数据库HBase，在对接Dataphin进行数据开发时，您需要先完成Aliyun HBase数据源的创建。权限说明 仅支持 超级管理员、数据源管理员、板块架构师、项目管理员 角色创建数据源...
数据传输服务（上传）场景与工具
实时数据通道：DataHub是流式数据（Streaming Data）的处理平台，提供对流式数据的发布（Publish）、订阅（Subscribe）和分发功能，支持流式数据归档至MaxCompute。功能介绍 批量数据通道上传 使用批量数据通道上传数据时，可以通过单个...
资源类型索引
阿里云产品 普通资源 数据源资源 应用配置管理ACM ALIYUN:ACM:Configuration：创建配置 ALIYUN:ACM:Namespace：创建命名空间 DATASOURCE:ACM:Configurations：获取配置列表详情 DATASOURCE:ACM:Namespaces：获取命名空间列表 操作审计...
创建Aliyun HBase数据源
背景信息 Aliyun HBase即阿里云的云数据库HBase。如果您使用的是云数据库HBase，在对接Dataphin进行数据开发时，您需要先完成Aliyun HBase数据源的创建。更多信息，请参见 什么是云数据库HBase。前提条件 若您需在Dataphin中创建基于阿里云...
新功能发布记录
DirectMail:Doman ALIYUN:DirectMail:Ipfilter ALIYUN:KMS:Key ALIYUN:KMS:Secret ALIYUN:MNS:Queue ALIYUN:MNS:Topic ALIYUN:OOS:Parameter ALIYUN:OOS:SecretParameter ALIYUN:OOS:PatchBaseline ALIYUN:RAM:User ALIYUN:RAM:Group ...
配置DataHub输出
DataHub是流式数据（Streaming Data）的处理平台，为您提供发布、订阅和分发流式数据的功能，让您可以轻松构建基于流式数据的分析和应用。前提条件 配置DataHub输出节点前，您需要先配置好相应的输入或转换数据源，实时同步支持的数据源。...
SDK接口
本文为您介绍流式数据通道SDK接口的使用方法。使用说明 您可以基于MaxCompute Studio通过Java SDK使用MaxCompute流式数据通道服务。您可以使用以下配置在MaxCompute Studio上添加指定版本的pom依赖。groupId>...
BRIN索引
BRIN 索引是块级索引，有别于B-TREE等索引，BRIN记录并不是以行号为单位记录索引明细，而是记录每个数据块或者每段连续的数据块的统计信息。因此BRIN索引空间占用特别的小，对数据写入、更新、删除的影响也很小。操作符< <= = >=>应用场景 ...
发布几何数据
通过GeoServer发布Ganos中的几何数据。添加数据源 打开GeoServer，选择 数据存储。单击 添加新的数据存储，选择 PostGIS。填写Ganos数据库的连接...REST API 几何数据发布后，GeoServer提供给用户调用、访问的REST API，详情请参见 官网文档。
发布几何数据
通过GeoServer发布Ganos中的几何数据。添加数据源 打开GeoServer，选择 数据存储。单击 添加新的数据存储，选择 PostGIS。填写Ganos数据库的连接...REST API 几何数据发布后，GeoServer提供给用户调用、访问的REST API，详情请参见 官网文档。
发布几何数据
通过GeoServer发布Ganos中的几何数据。添加数据源 说明 不同的GeoServer版本，打开的GeoServer Web Portal可能存在差异，本文以 GeoServer 2.23....REST API 几何数据发布后，GeoServer提供给用户调用、访问的REST API，详情请参见 官网文档。
操作流程
本文介绍空间数据的操作流程。流程图 流程说明 操作 说明 添加数据 添加矢量数据 添加矢量类数据，具体操作，请参见 ...发布服务 通过发布服务，将空间数管中的各类型空间数据发布成行业标准的空间服务方便使用。具体操作，请参见 发布服务。
流式气泡层（v1.x版本）
流式气泡层是基础平面地图的子组件，支持独立的样式和数据配置，包括气泡的大小、位置、颜色、动画效果以及经纬度等，能够以流式气泡的形式表现地理位置上的点数据信息。本文介绍流式气泡层各配置项的含义。注意 当前为v1.x版本的流式气泡...
算法说明
场景说明 流式图算法采用在线机器学习技术，对每条数据进行实时学习、推断，适用于一般性时间序列的异常检测场景，包括：机器级别的监控指标的异常巡检，例如CPU占用率、内存利用率、硬盘读写速率等。业务指标的异常巡检，例如QPS、流量、...
引擎简介
云原生多模数据库 Lindorm 消息引擎是Lindorm面向IoT、车联网、日志等流式数据提供的数据接入服务，支持业务原始数据高吞吐写入，并基于流引擎的实时处理能力，业务只需做简单开发，即可快速实现数据的ETL并入库到Lindorm宽表引擎。...
基础使用
流式读数据 创建流式目标表。CREATE TABLE stream_debug_table(id INT);创建流。CREATE SCAN stream_delta_table on delta_table USING STREAM;说明 本文示例中的delta_table为您已存在的delta表。流式写入目标表。CREATE STREAM job ...
发布服务
通过发布服务，将空间数管中的各类型空间数据发布成行业标准的空间服务方便使用。本文介绍如何发布服务。前提条件 已添加数据和数据样式表，更多操作请参见 添加数据 和 添加样式表。操作步骤 登录 数据资源平台控制台。在页面左上角，单击...
DataHub
阿里云流式数据服务DataHub流式数据（Streaming Data）的处理平台，提供对流式数据的发布（Publish），订阅（Subscribe）和分发功能，让您可以轻松构建基于流式数据的分析和应用。本文主要介绍如何通过DLA Serverless Spark访问DataHub。...
数据源支持概述
支持的数据源 数据源 批量读 批量写 流式读 流式写 Kafka 有 无 有 有 Loghub 有 有 有 有 Tablestore 有 有 有 有 DataHub 无 无 有 有 HBase 有 有 无 有 JDBC 有 有 无 有 Druid 无 无 无 有 Redis 无 无 无 有 Kudu 有 有 无 有 DTS 有...
集成与开发概览
通过可视化拖拉拽操作、SQL语句（100%兼容Flink）两种方式配置流式加工任务，实现流式数据的抽取、数据转换和加工、数据装载能力，适用于日志、在线数据实时加工处理、实时统计报表等各类实时数据开发场景。数据开发 任务编排。更多信息，...
- 产品推荐
- 这些文档可能帮助您