使用DataHub（实时数据传输）
DataHub 是MaxCompute提供的流式数据处理（Streaming Data）服务，它提供流式数据的发布（Publish）和订阅（Subscribe）的功能，让您可以轻松构建基于流式数据的分析和应用。DataHub同样提供流式数据归档的功能，支持流式数据归档至...
产品概述
阿里云流数据处理平台数据总线DataHub是流式数据（Streaming Data）的处理平台，提供对流式数据的发布(Publish)，订阅（Subscribe）和分发功能，让您可以轻松构建基于流式数据的分析和应用。数据总线 DataHub服务可以对各种移动设备，应用...
创建DataHub项目
阿里云流数据处理平台DataHub是流式数据（Streaming Data）的处理平台，提供对流式数据的发布（Publish），订阅（Subscribe）和分发功能，让您可以轻松构建基于流式数据的分析和应用。前提条件 您已经完成了 创建RDS MySQL数据库表。操作...
流式数据通道概述
流计算Flink：默认使用批量数据通道，支持流式数据通道插件，详情请参见 使用阿里云Flink（流式数据传输）。实时数据同步：默认使用批量数据通道，支持流式数据通道模式，需要联系DataWorks值班同学后台打开。什么是云消息队列 Kafka 版？...
事件流概述
应用场景 流式ETL处理 事件流作为更轻量、实时（real-time）端到端的流式事件通道，提供轻量流式数据的过滤和转换的能力，在不同的数据仓库之间、数据处理程序之间、数据分析和处理系统之间进行数据同步，连接不同的系统与服务。...
Stream API
Stream API是一种处理流式数据的方法。通过Stream API，您可以在边缘节点上处理流式数据，例如音频和视频。Stream API可以将流式数据分块传输，提高数据传输效率。ReadableStream 定义：ReadableStream的定义，请参见MDN官方文档 ...
Stream API
Stream API是一种处理流式数据的方法。通过Stream API，您可以在边缘节点上处理流式数据，例如音频和视频。Stream API可以将流式数据分块传输，提高数据传输效率。ReadableStream 定义：ReadableStream的定义，请参见MDN官方文档 ...
Stream API
Stream API是一种处理流式数据的方法。通过Stream API，您可以在边缘节点上处理流式数据，例如音频和视频。Stream API可以将流式数据分块传输，提高数据传输效率。ReadableStream 定义：ReadableStream的定义，请参见MDN官方文档 ...
应用场景
本章节将为您介绍CDP产品的应用场景。现代数据仓库 运营数据库 准实时分析 流式处理和分析
进入数据质量概览（旧版）
模块 描述 我的订阅 为您展示当前登录用户名下订阅的表，所产生的离线数据和流式数据的报警、阻塞数量，以及订阅的总数。全部数据 为您展示当前工作空间下离线数据和流式数据的全部数据情况。报警趋势图 为您展示 近7天、近30天 和 近半年 ...
UNION ALL语句
UNION ALL语句将两个流式数据合并。两个流式数据的字段完全一致，包括字段类型和字段顺序。语法 select_statement UNION ALL select_statement;示例 测试数据 表1：test_source_union1 a（varchar）b（bigint）c（bigint）test1 1 10 表2：...
概述
您可以创建SQL类型的流数据分析任务，并在边缘端执行该任务。边缘端SQL语法与云端Flink SQL语法完全一致，语法说明请参见 Flink SQL概述。在流数据分析中，数据存储用源表、维表、结果表来表示。但由于运行环境不一样，边缘端与云端支持的...
数据分析：即时快速分析
数据分析基于“人人都是数据分析师”的产品目标，旨在为更多非专业数据开发人员，如数据分析、产品、运营等工作人员提供更加简洁高效的取数、用数工具，提升大家日常取数分析效率。功能概述 数据分析支持基于个人视角的数据上传、公共数据...
使用Tunnel命令或Tunnel SDK
使用Streaming Tunnel SDK上传数据 MaxCompute流式数据通道服务提供了以流式的方式把数据写入MaxCompute的能力，使用与原批量数据通道服务不同的一套全新的API及后端服务。MaxCompute流式数据通道服务应用场景如下。场景 说明 特点 大量...
配置DataHub输出
DataHub是流式数据（Streaming Data）的处理平台，为您提供发布、订阅和分发流式数据的功能，让您可以轻松构建基于流式数据的分析和应用。前提条件 配置DataHub输出节点前，您需要先配置好相应的输入或转换数据源，实时同步支持的数据源。...
查询加速
本章将详细介绍如何在 云数据库 SelectDB 版 实例中进行查询优化和数据分析，云数据库 SelectDB 版 提供了多种分析SQL和优化方案，帮助您提升查询速度并实现高效的数据分析。概述 云数据库 SelectDB 版 采用了MySQL网络连接协议，兼容 标准...
数据下载
在DataWorks的数据开发（DataStudio）、数据分析、安全中心模块下载的CSV、XLSX格式文件数据将同步保存至数据下载功能。通过该功能，您可将所需历史下载文件重新下载至本地使用，也可追溯历史下载记录的操作详情。前提条件 已通过如下模块...
数据分析作业
MaxCompute是适用于数据分析场景的企业级SaaS模式云数据仓库，支持在多种工具上使用MaxCompute运行大数据计算分析作业。如果您需要进行简单的查询等数据分析作业，推荐您使用SQL查询或DataWorks的临时查询等工具，高效便捷地完成数据分析...
查看同步任务
DataHub DataConnector是把DataHub服务中的流式数据同步到其他云产品中的功能，目前支持将Topic中的数据实时/准实时同步到MaxCompute(ODPS)、OSS、ElasticSearch、RDS Mysql、ADS、TableStore中。用户只需要向DataHub中写入一次数据，并在...
使用流程
快速入门旨在介绍如何开通DLA、构建数据湖、调用Presto和Spark引擎进行数据分析与计算，帮助您掌握DLA的基本使用流程。如果您是首次使用云原生数据湖分析DLA的用户，我们建议您先阅读以下部分：产品简介-本内容概述了云原生数据湖分析DLA的...
通用数据开发
通常数据开发的总体流程包括数据产生、数据收集与存储、数据分析与处理、数据提取和数据展现与分享。说明 上图中，虚线框内的开发流程均可基于阿里云大数据平台完成。数据开发的流程如下所示：数据产生：业务系统每天会产生大量结构化的...
如何选择产品类型
对比项 基础版 专业版 适用场景 现代数据仓库 准实时分析 流式处理和分析 在存储、计算分离的架构之上支持：现代数据仓库 准实时分析 流式处理和分析 主要功能 Runtime：提供约50个开源组件（包含常见存储、计算组件）。Cloudera Manager：...
基因分析应用
基因数据分析工作，需要用户使用不同的生物信息学工具软件，进行一系列复杂的计算过程，才能得到最终的分析结果。以遗传病的数据分析举例，需要进行数据质控、序列比对、变异检测和变异注释等多个步骤。图1：基因数据分析流程（来源/《中华...
未来规划
数据处理与分析：海量数据分析在线化（实时在线交互式分析）。如何对海量数据进行在线分析和计算，支持实时在线交互式分析，需要做并行处理（DSP 模型、MPP 模型等等），对并行调度计算进行优化。系统能力提升：智能化+安全（使用方便可靠...
概述
本文介绍DMS数据分析的基本概念、设计理念和主要应用场景。背景信息 DMS数据分析提供典型的数据集、仪表盘和大屏模型，在仪表盘或大屏中提供丰富的可视化图表和组件来展示数据。您可以将数据库中的表或单条SQL查询结果作为数据集，在仪表盘...
访问数据分析功能
本文介绍访问数据分析功能的三种方式。通过顶部菜单栏直接进入数据可视化 登录 数据管理DMS 5.0。在顶部菜单栏中，选择 集成与开发（DTS）>数据应用>数据分析。通过数据库的SQL窗口进入数据可视化 登录 数据管理DMS 5.0。在顶部菜单栏中，...
导出数据
分析型数据库MySQL版对海量数据分析计算后支持输出（DUMP）数据结果，目前支持两种DUMP方式：导出数据到OSS 导出数据到MaxCompute
功能特性
海量时空数据的快显分析能力 快速时空数据分析能力能够处理海量数据，并支持对千万级矢量数据进行可视化分析，帮助用户实时验证分析结果。内置地理统计分析能力 我们提供内置的地理统计分析功能，可以科学而专业地使用颜色、符号、宽度、...
Superset连接数据湖分析
本文主要介绍如何使用Superset连接DLA进行数据分析。背景信息 DLA对外暴露的是MySQL的协议，大多数BI工具可以使用MySQL连接器直接连接DLA，由于Superset对于表的定义语句校验严格，同时DLA的建表语句与MySQL的建表语句存在差别，这导致...
函数概述
聚合函数：聚合函数主要应用于一组数据计算出一个结果 二进制函数：二进制函数 位运算函数：位运算函数 转换函数：尝试隐式转换数值类型和字符类型值到正确的类型 日期和时间函数：日期和时间函数 漏斗数据分析函数：漏斗数据分析函数 地理...
概述
DataHub Connector可以将DataHub中的流式数据同步至MaxCompute。您只需要向DataHub中写入数据，并在DataHub中配置同步功能，便可以在MaxCompute中使用这些数据。详情请参见 通过DataHub迁移日志数据至MaxCompute。此方法多用于公测和自研。...
快速入门
根据业务需求，连接宽表引擎或时序引擎：使用非结构化数据分析与处理功能：通过Lindorm-cli连接并使用Lindorm宽表引擎。使用时序数据分析与处理功能：通过Lindorm-cli连接并使用Lindorm时序引擎。创建模型。查看已创建的模型状态是否已就绪...
EMR Workbench
阿里云EMR Workbench是一个综合性的大数据分析和开发环境，作为阿里云E-MapReduce的一部分，它提供了EMR Notebook和EMR Workflow两个核心功能。通过EMR Workbench，您可以轻松进行数据开发，以及交互式数据分析，并设计复杂的数据处理工作...
封装流式数据（DataHub）API
本文介绍如何封装流式数据API。前提条件 工作组管理员账号登录。已创建“信息中心（xxzx）”工作组，具体操作，请参见 新建工作组并添加成员。已在系统设置添加DataHub云计算资源，具体操作，请参见 新建云计算资源。已创建API归属应用，...
功能特性
Serverless Presto概述 DLA Serverless Spark DLA Serverless Spark基于云原生架构，提供面向数据湖场景的数据分析和计算。开通DLA服务后，您只需简单的配置，就可以提交Spark作业；无需关心Spark集群部署。Serverless Spark概述
概述
通常 IT人员、数据研发人员 或 数据分析师 等需要 数据加工处理 时使用。在数据集管理中，您可以对数据集（数据源中的表或通过SQL创建的数据集）关联、二次数据处理分析、编辑或重命名等操作。操作流程 操作步骤 创建并管理数据集 自定义...
与Spark集成分析
基于DLA无服务器化（Serverless）数据湖分析服务与内置的Spark计算引擎，DLA Ganos提供了不同级别的数据分析模型，最基础的是GeometryRDD模型，用来实现Ganos数据中SimpleFeature与Spark中RDD模型的之间的转换。在GeometryRDD基础上，DLA ...
与Spark集成分析
基于DLA无服务器化（Serverless）数据湖分析服务与内置的Spark计算引擎，DLA Ganos提供了不同级别的数据分析模型，最基础的是GeometryRDD模型，用来实现Ganos数据中SimpleFeature与Spark中RDD模型的之间的转换。在GeometryRDD基础上，DLA ...
数据分析概述
数据分析是数据辅助决策的最后一公里，是最终的数据可视化展示与探索分析的部分，选择使用最适合的数据展示方式，可以帮助分析人员大大提升分析效率。仪表板：支持近40种数据图表，操作方便简单，如果您是专业版用户，还可以在群空间下配置...
常见问题
数据湖后端存储使用OSS，用户使用数据湖构建面向大数据分析和机器学习场景可以获得集中式权限管理和统一的元数据视图，更容易对接云上大数据和分析产品。什么情况下我需要使用数据湖构建？在云上有数据分析和机器学习需求，希望构建云上的...
- 产品推荐
- 这些文档可能帮助您