使用DataHub（实时数据传输）
DataHub 是MaxCompute提供的流式数据处理（Streaming Data）服务，它提供流式数据的发布（Publish）和订阅（Subscribe）的功能，让您可以轻松构建基于流式数据的分析和应用。DataHub同样提供流式数据归档的功能，支持流式数据归档至...
流式数据通道概述
MaxCompute流式数据通道服务提供了以流式的方式把数据写入MaxCompute的能力，使用与原批量数据通道服务不同的一套全新的API及后端服务。流式服务在API上极大简化了分布式服务的开发成本，同时解决了批量数据通道在高并发、高QPS（Queries-...
Stream API
Stream API是一种处理流式数据的方法。通过Stream API，您可以在边缘节点上处理流式数据，例如音频和视频。Stream API可以将流式数据分块传输，提高数据传输效率。ReadableStream 定义：ReadableStream的定义，请参见MDN官方文档 ...
Stream API
Stream API是一种处理流式数据的方法。通过Stream API，您可以在边缘节点上处理流式数据，例如音频和视频。Stream API可以将流式数据分块传输，提高数据传输效率。ReadableStream 定义：ReadableStream的定义，请参见MDN官方文档 ...
Stream API
Stream API是一种处理流式数据的方法。通过Stream API，您可以在边缘节点上处理流式数据，例如音频和视频。Stream API可以将流式数据分块传输，提高数据传输效率。ReadableStream 定义：ReadableStream的定义，请参见MDN官方文档 ...
创建DataHub项目
阿里云流数据处理平台DataHub是流式数据（Streaming Data）的处理平台，提供对流式数据的发布（Publish），订阅（Subscribe）和分发功能，让您可以轻松构建基于流式数据的分析和应用。前提条件 您已经完成了 创建RDS MySQL数据库表。操作...
使用Tunnel命令或Tunnel SDK
使用Streaming Tunnel SDK上传数据 MaxCompute流式数据通道服务提供了以流式的方式把数据写入MaxCompute的能力，使用与原批量数据通道服务不同的一套全新的API及后端服务。MaxCompute流式数据通道服务应用场景如下。场景 说明 特点 大量...
流式ETL
数据传输服务DTS提供的流式数据ETL（Extract Transform Load）功能是一种高效的实时数据加工工具。ETL支持通过可视化拖拉拽操作、Flink SQL语句配置任务，并结合DTS的高效流数据复制能力，可以实现流式数据的抽取、数据转换和加工、数据...
配置DataHub输出
DataHub是流式数据（Streaming Data）的处理平台，为您提供发布、订阅和分发流式数据的功能，让您可以轻松构建基于流式数据的分析和应用。前提条件 配置DataHub输出节点前，您需要先配置好相应的输入或转换数据源，实时同步支持的数据源。...
UNION ALL语句
UNION ALL语句将两个流式数据合并。两个流式数据的字段完全一致，包括字段类型和字段顺序。语法 select_statement UNION ALL select_statement;示例 测试数据 表1：test_source_union1 a（varchar）b（bigint）c（bigint）test1 1 10 表2：...
什么是ETL
数据传输服务DTS提供的流式数据ETL（Extract Transform Load）功能是一种高效的实时数据加工工具。ETL支持通过可视化拖拉拽操作、Flink SQL语句配置任务，并结合DTS的高效流数据复制能力，可以实现流式数据的抽取、数据转换和加工、数据...
同步任务的注意事项及限制
云原生数据仓库 AnalyticDB MySQL 版 3.0 PolarDB MySQL同步至云原生数据仓库AnalyticDB PostgreSQL PolarDB MySQL版同步至阿里云流式数据服务DataHub PolarDB MySQL版同步至Elasticsearch PolarDB MySQL版同步至阿里云消息队列Kafka、自建...
概述
类型 描述 源表 流式数据存储，驱动流数据分析的运行。每个流数据分析任务必须提供至少一个流式数据存储。边缘端支持的类型如下所示。EdgeBus：边缘端消息总线（边缘端跨进程通信机制），EdgeBus的数据作为输入源，会根据消息路由（管理...
引擎类型
流引擎是面向流式数据处理的引擎，提供了流式数据的存储和轻计算功能，帮助您轻松实现将流式数据存储至 云原生多模数据库 Lindorm，满足基于流式数据的处理和应用需求。结合宽表引擎的Ganos时空服务，可以实现基于流式数据的实时轨迹分析...
封装流式数据（DataHub）API
本文介绍如何封装流式数据API。前提条件 工作组管理员账号登录。已创建“信息中心（xxzx）”工作组，具体操作，请参见 新建工作组并添加成员。已在系统设置添加DataHub云计算资源，具体操作，请参见 新建云计算资源。已创建API归属应用，...
SDK接口
本文为您介绍流式数据通道SDK接口的使用方法。使用说明 您可以基于MaxCompute Studio通过Java SDK使用MaxCompute流式数据通道服务。您可以使用以下配置在MaxCompute Studio上添加指定版本的pom依赖。groupId>...
概述
DataHub Connector可以将DataHub中的流式数据同步至MaxCompute。您只需要向DataHub中写入数据，并在DataHub中配置同步功能，便可以在MaxCompute中使用这些数据。详情请参见 通过DataHub迁移日志数据至MaxCompute。此方法多用于公测和自研。...
产品概述
产品概述 数据总线 DataHub基本介绍 阿里云流数据处理平台数据总线DataHub是流式数据（Streaming Data）的处理平台，提供对流式数据的发布(Publish)，订阅（Subscribe）和分发功能，让您可以轻松构建基于流式数据的分析和应用。数据总线...
将Kafka数据导入JindoFS
Kafka广泛用于日志收集、监控数据聚合等场景，支持离线或流式数据处理、实时数据分析等。本文主要介绍Kafka数据导入到JindoFS的几种方式。常见Kafka数据导入方式 通过Flume导入 推荐使用Flume方式导入到JindoFS，利用Flume对HDFS的支持，...
MaxCompute投递（新版）
在流式写入数据到MaxCompute期间，MaxCompute流式数据通道服务会禁止写入的表有更新、删除、插入等数据修改操作。更多信息，请参见 流式数据通道概述。由于禁止修改数据的限制，MaxCompute投递（新版）和MaxCompute投递（旧版）不能同时向...
稳定性说明与使用限制
在流式写入数据到MaxCompute期间，MaxCompute流式数据通道服务会禁止写入的表有更新、删除、插入等数据修改操作。更多信息，请参见 流式数据通道概述。由于禁止修改数据的限制，MaxCompute投递（新版）和MaxCompute投递（旧版）不能同时向...
Streaming Tunnel SDK示例（Python）
Streaming Tunnel是MaxCompute的流式数据通道，您可以通过Streaming Tunnel向MaxCompute中上传数据，本文为您介绍使用Python版Streaming Tunnel SDK上传数据的简单示例。注意事项 Streaming Tunnel仅支持上传数据，下文为您介绍一个简单的...
Tunnel SDK示例汇总引导
其他相关使用示例引导 MaxCompute为您提供Tunnel命令（直接在客户端等工具上运行）、批量数据通道（Tunnel SDK）和流式数据通道（Streaming Tunnel SDK），且基于Tunnel SDK为您提供了更多针对项目（Project）、表（Table）等对象的SDK接口...
典型使用场景
典型的数据源包括：MySQL/SQL Server/PostgreSQL/Oracle等OLTP业务数据库，业务App产生的日志数据，在OSS/Hadoop上的归档数据，以及来自Kafka/Flink等系统的流式数据。在库中对ODS层数据进行加工，形成CDM（Common Data Model）和ADS...
基本概念
L 流引擎 面向流式数据处理的引擎，提供了流式数据的存储和轻计算功能，帮助您轻松实现流式数据存储至 云原生多模数据库 Lindorm，构建基于流式数据的处理和应用。更多信息，请参见 流引擎介绍。逻辑I/O 由应用程序发给文件系统的读写操作...
DataHub
阿里云流式数据服务DataHub流式数据（Streaming Data）的处理平台，提供对流式数据的发布（Publish），订阅（Subscribe）和分发功能，让您可以轻松构建基于流式数据的分析和应用。本文主要介绍如何通过DLA Serverless Spark访问DataHub。...
后续指引
说明 相关文档 数据迁移 上传下载数据 MaxCompute提供Tunnel批量数据通道、Streaming Tunnel流式数据写入通道和DataHub实时数据通道三种数据上传下载的通道，同时还支持基于DataHub和Tunnel提供的SDK实现上传下载数据，满足多样化场景需求...
产品架构
流引擎 LindormStream 是面向流式数据处理的引擎，提供了流式数据的存储和轻计算功能，兼容Kafka API和Flink SQL，帮助业务基于Lindorm快速构建基于流式数据的处理和应用。LindormStream内部包含流存储、流计算两大组件，通过两者的一体化...
使用阿里云Flink（流式数据传输）
MaxCompute提供了使用流式数据通道的Flink插件，支持使用Flink在高并发、高QPS场景下写入MaxCompute。前提条件 已开通 实时计算Flink版 的Blink服务并创建Blink项目。更多开通Blink及创建Blink项目的信息。已安装使用流式数据通道的 Flink...
数据查询
访问方式 适用场景 描述 具体操作 Java Native SDK Java应用开发 支持流式数据传输，无需管理底层连接，提供线程安全的接口调用。Java Native SDK开发手册 JDBC Driver Java应用开发，需要配合框架使用的场景 需要自己管理连接池，或着使用...
内置时空数据引擎Ganos
IoT时空解决方案：支持通过Kafka、Flink等流式引擎和消息中间件接入时空流式数据建模为移动对象数据库、激光点云数据库或时序点数据库。Ganos将逐步沉淀基础时空云计算能力到云计算基础平台，赋能ISV厂商，推动时空云计算作为数字化转型的...
数据格式描述文件
{"type":"hadoop","inputSpec":{"type":"static","paths":"hdfs:/emr-header-1.cluster-6789:9000/druid/quickstart/wikiticker-2015-09-16-sampled.json"} } 说明 对于通过Tranquility处理的流式数据，这部分是不需要的。Tunning Config ...
流式入库
支持流式入库的系统都基本遵循了一个思路，流式数据按照小批量数据写小文件到存储系统，然后定时合并这些文件。例如，Hive和Delta Lake。Kudu也支持流式入库，但是Kudu的存储是自己设计的，不属于基于大数据存储系统之上的解决方案。本文以...
EMR-3.22.x版本说明
Delta 新增Delta，用户可使用Spark创建Delta datasource，以支持流式数据写入、事务性读写、数据校验和数据回溯等应用场景。详情请参见 Delta详细信息。支持使用DataFrame API从Delta读取数据或者写入数据到Delta。支持使用Stuctured ...
配置流程
数据传输服务DTS提供的数据加工功能ETL（Extract Transform Load），实现了流式数据的清洗和转换处理，能够准确、高效地提供您需要的数据。本文介绍如何通过DAG模式（可视化拖拽方式）配置ETL任务。背景信息 说明 ETL功能在公测阶段，支持...
数据质量概述
包括：当前登录账号及当前工作空间下离线数据和流式数据的报警和阻塞情况。当前工作空间下各数据源中任务的报警与阻塞趋势图。我的订阅 我的订阅页面为您展示当前登录账号下通过短信，邮件接收报警的数据质量校验规则。此外，数据质量还...
Kafka数据迁移MaxCompute最佳实践
Kafka适用于流式数据处理，主要应用于用户行为跟踪、日志收集等场景。一个典型的Kafka集群包含若干个生产者（Producer）、Broker、消费者（Consumer）以及一个Zookeeper集群。Kafka集群通过Zookeeper管理自身集群的配置并进行服务协同。...
Kafka数据迁移MaxCompute最佳实践
Kafka适用于流式数据处理，主要应用于用户行为跟踪、日志收集等场景。一个典型的Kafka集群包含若干个生产者（Producer）、Broker、消费者（Consumer）以及一个Zookeeper集群。Kafka集群通过Zookeeper管理自身集群的配置并进行服务协同。...
时空服务介绍
应用场景 适用于车联网、物流、交通规划、自动驾驶等基于流式数据且对实时性要求较高的时空数据管理与查询场景。场景 示例 电子围栏 实时计算多个车辆的位置，判断目标对象是否离开地理围栏区域。轨迹生成 回溯车辆的行驶轨迹、基于多条...
基于Flink+Paimon搭建流式湖仓
本文为您介绍如何通过实时计算Flink版和流式数据湖仓Paimon搭建流式湖仓。背景信息 随着社会数字化发展，企业对数据时效性的需求越来越强烈。传统的离线数仓搭建方法论比较明确，通过定时调度离线作业的方式，将上一时段产生的新鲜变更并入...
- 产品推荐
- 这些文档可能帮助您