数据传输服务（上传）场景与工具
数据同步服务：您可以通过数据集成 实时同步任务 实现流式数据写入（StreamX）。数据投递：您可以通过已集成流式写入API的数据投递模式实现流式数据写入。支持SLS、消息队列 Kafka 版方式。数据采集：MaxCompute支持将开源 Logstash 收集的...
流式ETL
ETL支持通过可视化拖拉拽操作、Flink SQL语句配置任务，并结合DTS的高效流数据复制能力，可以实现流式数据的抽取、数据转换和加工、数据装载。在降低开发门槛和业务系统影响的同时提升效率，丰富企业实时数据处理和计算场景，赋能企业数字...
什么是ETL
ETL支持通过可视化拖拉拽操作、Flink SQL语句配置任务，并结合DTS的高效流数据复制能力，可以实现流式数据的抽取、数据转换和加工、数据装载。在降低开发门槛和业务系统影响的同时提升效率，丰富企业实时数据处理和计算场景，赋能企业数字...
什么是云原生多模数据库Lindorm
本文介绍 云原生多模数据库 Lindorm 的...流引擎 云原生多模数据库 Lindorm 流引擎是 面向流式数据处理 的引擎，提供了流式数据的存储和轻计算功能，帮助您轻松实现流式数据存储至 云原生多模数据库 Lindorm，构建基于流式数据的处理和应用。
集成与开发概览
通过可视化拖拉拽操作、SQL语句（100%兼容Flink）两种方式配置流式加工任务，实现流式数据的抽取、数据转换和加工、数据装载能力，适用于日志、在线数据实时加工处理、实时统计报表等各类实时数据开发场景。数据开发 任务编排。更多信息，...
基本概念
L 流引擎 面向流式数据处理的引擎，提供了流式数据的存储和轻计算功能，帮助您轻松实现流式数据存储至 云原生多模数据库 Lindorm，构建基于流式数据的处理和应用。更多信息，请参见 流引擎介绍。逻辑I/O 由应用程序发给文件系统的读写操作...
2020年
2020-12 功能名称 功能描述 发布时间 发布区域 相关文档 流式数据写入服务（Streaming Tunnel）开始公测 MaxCompute Streaming Tunnel服务，支持通过API方式实现流式数据无感知高QPS写入MaxCompute。2020-12-28 所有区域 流式数据通道概述 ...
功能特性
数据集成 ETL支持通过可视化拖拉拽操作、Flink SQL语句配置任务，并结合DTS的高效流数据复制能力，可以实现流式数据的抽取、数据转换和加工、数据装载。在降低开发门槛和业务系统影响的同时提升效率，丰富企业实时数据处理和计算场景，赋能...
使用DataHub（实时数据传输）
DataHub 是MaxCompute提供的流式数据处理（Streaming Data）服务，它提供流式数据的发布（Publish）和订阅（Subscribe）的功能，让您可以轻松构建基于流式数据的分析和应用。DataHub同样提供流式数据归档的功能，支持流式数据归档至...
流式数据通道概述
MaxCompute流式数据通道服务提供了以流式的方式把数据写入MaxCompute的能力，使用与原批量数据通道服务不同的一套全新的API及后端服务。流式服务在API上极大简化了分布式服务的开发成本，同时解决了批量数据通道在高并发、高QPS（Queries-...
引擎简介
流引擎面向流式数据，实现了流存储和流计算的融合一体化，提供高效的实时数据处理能力。同时，在元数据、SQL语法、数据链路上与宽表引擎、时序引擎的多模引擎无缝融合，共享存储，提供完整统一的数据库体验。此外，流引擎与 时空引擎、AI...
引擎类型
流引擎是面向流式数据处理的引擎，提供了流式数据的存储和轻计算功能，帮助您轻松实现将流式数据存储至 云原生多模数据库 Lindorm，满足基于流式数据的处理和应用需求。结合宽表引擎的Ganos时空服务，可以实现基于流式数据的实时轨迹分析...
什么是数据传输服务DTS
数据订阅功能特性 数据加工 实现流式数据的抽取、数据转换和加工、数据装载。丰富企业实时数据处理和计算场景，赋能企业数字化转型。什么是ETL 数据校验 为数据迁移或同步任务配置数据校验功能，监控源库与目标库数据的差异，以便及时发现...
创建DataHub项目
阿里云流数据处理平台DataHub是流式数据（Streaming Data）的处理平台，提供对流式数据的发布（Publish），订阅（Subscribe）和分发功能，让您可以轻松构建基于流式数据的分析和应用。前提条件 您已经完成了 创建RDS MySQL数据库表。操作...
进入数据质量概览（旧版）
模块 描述 我的订阅 为您展示当前登录用户名下订阅的表，所产生的离线数据和流式数据的报警、阻塞数量，以及订阅的总数。全部数据 为您展示当前工作空间下离线数据和流式数据的全部数据情况。报警趋势图 为您展示 近7天、近30天 和 近半年 ...
配置DataHub输出
DataHub是流式数据（Streaming Data）的处理平台，为您提供发布、订阅和分发流式数据的功能，让您可以轻松构建基于流式数据的分析和应用。前提条件 配置DataHub输出节点前，您需要先配置好相应的输入或转换数据源，实时同步支持的数据源。...
UNION ALL语句
UNION ALL语句将两个流式数据合并。两个流式数据的字段完全一致，包括字段类型和字段顺序。语法 select_statement UNION ALL select_statement;示例 测试数据 表1：test_source_union1 a（varchar）b（bigint）c（bigint）test1 1 10 表2：...
同步任务的注意事项及限制
云原生数据仓库 AnalyticDB MySQL 版 3.0 PolarDB MySQL同步至云原生数据仓库AnalyticDB PostgreSQL PolarDB MySQL版同步至阿里云流式数据服务DataHub PolarDB MySQL版同步至Elasticsearch PolarDB MySQL版同步至阿里云消息队列Kafka、自建...
2021年
2021-08-10 华北2（北京）华东2（上海）华北3（张家口）华东1（杭州）华南1（深圳）西南1（成都）更新或删除数据（UPDATE|DELETE）MERGE INTO MaxCompute流式数据通道服务功能商业化发布 MaxCompute流式数据通道服务提供流式语义API支持，...
配置流程
数据传输服务DTS提供的数据加工功能ETL（Extract Transform Load），实现了流式数据的清洗和转换处理，能够准确、高效地提供您需要的数据。本文介绍如何通过DAG模式（可视化拖拽方式）配置ETL任务。背景信息 说明 ETL功能在公测阶段，支持...
查看同步任务
DataHub DataConnector是把DataHub服务中的流式数据同步到其他云产品中的功能，目前支持将Topic中的数据实时/准实时同步到MaxCompute(ODPS)、OSS、ElasticSearch、RDS Mysql、ADS、TableStore中。用户只需要向DataHub中写入一次数据，并在...
概述
类型 描述 源表 流式数据存储，驱动流数据分析的运行。每个流数据分析任务必须提供至少一个流式数据存储。边缘端支持的类型如下所示。EdgeBus：边缘端消息总线（边缘端跨进程通信机制），EdgeBus的数据作为输入源，会根据消息路由（管理...
封装流式数据（DataHub）API
本文介绍如何封装流式数据API。前提条件 工作组管理员账号登录。已创建“信息中心（xxzx）”工作组，具体操作，请参见 新建工作组并添加成员。已在系统设置添加DataHub云计算资源，具体操作，请参见 新建云计算资源。已创建API归属应用，...
数据传输与迁移概述
流式数据写入（7天24小时不间断写入）。对数据可见延迟容忍度高（可接受偶发小时级别数据可见延迟）。对请求延迟容忍度高（可接受偶发分钟级别请求延迟）。典型场景。类型 典型场景 数据库Binlog采集 数据集成-数据库实时数据同步。DTS。...
流式下载
以下代码用于将exampleobject.txt文件的流式数据下载到本地 D:\localpath 路径下的examplefile.txt。import shutil import oss2 from oss2.credentials import EnvironmentVariableCredentialsProvider#创建Server对象。从环境变量中获取...
将Kafka数据导入JindoFS
Kafka广泛用于日志收集、监控数据聚合等场景，支持离线或流式数据处理、实时数据分析等。本文主要介绍Kafka数据导入到JindoFS的几种方式。常见Kafka数据导入方式 通过Flume导入 推荐使用Flume方式导入到JindoFS，利用Flume对HDFS的支持，...
应用场景
通过结合其他云产品，云数据库RDS可以适用于更多典型的应用场景。自建库搭配RDS实现异地容灾 RDS搭配异构数据库实现数据多样化存储 RDS结合开放搜索服务实现复杂搜索 开启读写分离扩展RDS处理能力 RDS搭配大数据计算服务实现大规模数据计算
稳定性说明与使用限制
在流式写入数据到MaxCompute期间，MaxCompute流式数据通道服务会禁止写入的表有更新、删除、插入等数据修改操作。更多信息，请参见 流式数据通道概述。由于禁止修改数据的限制，MaxCompute投递（新版）和MaxCompute投递（旧版）不能同时向...
MaxCompute投递（新版）
在流式写入数据到MaxCompute期间，MaxCompute流式数据通道服务会禁止写入的表有更新、删除、插入等数据修改操作。更多信息，请参见 流式数据通道概述。由于禁止修改数据的限制，MaxCompute投递（新版）和MaxCompute投递（旧版）不能同时向...
Tunnel SDK示例汇总引导
其他相关使用示例引导 MaxCompute为您提供Tunnel命令（直接在客户端等工具上运行）、批量数据通道（Tunnel SDK）和流式数据通道（Streaming Tunnel SDK），且基于Tunnel SDK为您提供了更多针对项目（Project）、表（Table）等对象的SDK接口...
典型使用场景
典型的数据源包括：MySQL/SQL Server/PostgreSQL/Oracle等OLTP业务数据库，业务App产生的日志数据，在OSS/Hadoop上的归档数据，以及来自Kafka/Flink等系统的流式数据。在库中对ODS层数据进行加工，形成CDM（Common Data Model）和ADS...
DataHub
阿里云流式数据服务DataHub流式数据（Streaming Data）的处理平台，提供对流式数据的发布（Publish），订阅（Subscribe）和分发功能，让您可以轻松构建基于流式数据的分析和应用。本文主要介绍如何通过DLA Serverless Spark访问DataHub。...
调试实时任务
调试方式说明 本地调试方式：即不通过集群进行调试，调试的数据非流式数据。该方式调试速度较快，但操作较为繁琐，需要手动上传或填写数据，仅支持特定的数据源进行自动采样。Session集群调试方式：即通过Session集群进行调试，调试的数据...
使用阿里云Flink（流式数据传输）
MaxCompute提供了使用流式数据通道的Flink插件，支持使用Flink在高并发、高QPS场景下写入MaxCompute。前提条件 已开通 实时计算Flink版 的Blink服务并创建Blink项目。更多开通Blink及创建Blink项目的信息。已安装使用流式数据通道的 Flink...
通过流引擎实现交易数据实时统计
云原生多模数据库 Lindorm 流引擎是面向流式数据处理的引擎，提供了流式数据的存储和轻计算功能。本文介绍使用Lindorm流引擎对交易数据进行实时统计，并将统计结果（即每小时的订单数量和交易金额）存储至Lindorm宽表中。前提条件 已安装...
ORC文件
它针对大型流式数据读取进行了优化，但集成了对快速查询所需要行的相关支持。ORC和Parquet文件格式的区别：本质上Parquet针对Spark进行了优化，而ORC针对Hive进行的优化。前提条件 通过主账号登录 阿里云 Databricks控制台。已创建集群，...
内置时空数据引擎Ganos
IoT时空解决方案：支持通过Kafka、Flink等流式引擎和消息中间件接入时空流式数据建模为移动对象数据库、激光点云数据库或时序点数据库。Ganos将逐步沉淀基础时空云计算能力到云计算基础平台，赋能ISV厂商，推动时空云计算作为数字化转型的...
数据格式描述文件
{"type":"hadoop","inputSpec":{"type":"static","paths":"hdfs:/emr-header-1.cluster-6789:9000/druid/quickstart/wikiticker-2015-09-16-sampled.json"} } 说明 对于通过Tranquility处理的流式数据，这部分是不需要的。Tunning Config ...
数据质量概述
包括：当前登录账号及当前工作空间下离线数据和流式数据的报警和阻塞情况。当前工作空间下各数据源中任务的报警与阻塞趋势图。我的订阅 我的订阅页面为您展示当前登录账号下通过短信，邮件接收报警的数据质量校验规则。此外，数据质量还...
Kafka数据迁移MaxCompute最佳实践
Kafka适用于流式数据处理，主要应用于用户行为跟踪、日志收集等场景。一个典型的Kafka集群包含若干个生产者（Producer）、Broker、消费者（Consumer）以及一个Zookeeper集群。Kafka集群通过Zookeeper管理自身集群的配置并进行服务协同。...
- 产品推荐
- 这些文档可能帮助您