使用DataHub（实时数据传输）
DataHub 是MaxCompute提供的流式数据处理（Streaming Data）服务，它提供流式数据的发布（Publish）和订阅（Subscribe）的功能，让您可以轻松构建基于流式数据的分析和应用。DataHub同样提供流式数据归档的功能，支持流式数据归档至...
产品概述
阿里云流数据处理平台数据总线DataHub是流式数据（Streaming Data）的处理平台，提供对流式数据的发布(Publish)，订阅（Subscribe）和分发功能，让您可以轻松构建基于流式数据的分析和应用。数据总线 DataHub服务可以对各种移动设备，应用...
创建DataHub项目
阿里云流数据处理平台DataHub是流式数据（Streaming Data）的处理平台，提供对流式数据的发布（Publish），订阅（Subscribe）和分发功能，让您可以轻松构建基于流式数据的分析和应用。前提条件 您已经完成了 创建RDS MySQL数据库表。操作...
流式数据通道概述
流计算Flink：默认使用批量数据通道，支持流式数据通道插件，详情请参见 使用阿里云Flink（流式数据传输）。实时数据同步：默认使用批量数据通道，支持流式数据通道模式，需要联系DataWorks值班同学后台打开。什么是云消息队列 Kafka 版？...
事件流概述
应用场景 流式ETL处理 事件流作为更轻量、实时（real-time）端到端的流式事件通道，提供轻量流式数据的过滤和转换的能力，在不同的数据仓库之间、数据处理程序之间、数据分析和处理系统之间进行数据同步，连接不同的系统与服务。...
数据传输服务（上传）场景与工具
实时数据通道：DataHub是流式数据（Streaming Data）的处理平台，提供对流式数据的发布（Publish）、订阅（Subscribe）和分发功能，支持流式数据归档至MaxCompute。功能介绍 批量数据通道上传 使用批量数据通道上传数据时，可以通过单个...
Stream API
Stream API是一种处理流式数据的方法。通过Stream API，您可以在边缘节点上处理流式数据，例如音频和视频。Stream API可以将流式数据分块传输，提高数据传输效率。ReadableStream 定义：ReadableStream的定义，请参见MDN官方文档 ...
Stream API
Stream API是一种处理流式数据的方法。通过Stream API，您可以在边缘节点上处理流式数据，例如音频和视频。Stream API可以将流式数据分块传输，提高数据传输效率。ReadableStream 定义：ReadableStream的定义，请参见MDN官方文档 ...
Stream API
Stream API是一种处理流式数据的方法。通过Stream API，您可以在边缘节点上处理流式数据，例如音频和视频。Stream API可以将流式数据分块传输，提高数据传输效率。ReadableStream 定义：ReadableStream的定义，请参见MDN官方文档 ...
应用场景
本章节将为您介绍CDP产品的应用场景。现代数据仓库 运营数据库 准实时分析 流式处理和分析
进入数据质量概览（旧版）
模块 描述 我的订阅 为您展示当前登录用户名下订阅的表，所产生的离线数据和流式数据的报警、阻塞数量，以及订阅的总数。全部数据 为您展示当前工作空间下离线数据和流式数据的全部数据情况。报警趋势图 为您展示 近7天、近30天 和 近半年 ...
UNION ALL语句
UNION ALL语句将两个流式数据合并。两个流式数据的字段完全一致，包括字段类型和字段顺序。语法 select_statement UNION ALL select_statement;示例 测试数据 表1：test_source_union1 a（varchar）b（bigint）c（bigint）test1 1 10 表2：...
数据分析：即时快速分析
数据分析基于“人人都是数据分析师”的产品目标，旨在为更多非专业数据开发人员，如数据分析、产品、运营等工作人员提供更加简洁高效的取数、用数工具，提升大家日常取数分析效率。功能概述 数据分析支持基于个人视角的数据上传、公共数据...
概述
您可以创建SQL类型的流数据分析任务，并在边缘端执行该任务。边缘端SQL语法与云端Flink SQL语法完全一致，语法说明请参见 Flink SQL概述。在流数据分析中，数据存储用源表、维表、结果表来表示。但由于运行环境不一样，边缘端与云端支持的...
使用Tunnel命令或Tunnel SDK
使用Streaming Tunnel SDK上传数据 MaxCompute流式数据通道服务提供了以流式的方式把数据写入MaxCompute的能力，使用与原批量数据通道服务不同的一套全新的API及后端服务。MaxCompute流式数据通道服务应用场景如下。场景 说明 特点 大量...
配置DataHub输出
DataHub是流式数据（Streaming Data）的处理平台，为您提供发布、订阅和分发流式数据的功能，让您可以轻松构建基于流式数据的分析和应用。前提条件 配置DataHub输出节点前，您需要先配置好相应的输入或转换数据源，实时同步支持的数据源。...
查询加速
本章将详细介绍如何在 云数据库 SelectDB 版 实例中进行查询优化和数据分析，云数据库 SelectDB 版 提供了多种分析SQL和优化方案，帮助您提升查询速度并实现高效的数据分析。概述 云数据库 SelectDB 版 采用了MySQL网络连接协议，兼容 标准...
数据下载
在DataWorks的数据开发（DataStudio）、数据分析、安全中心模块下载的CSV、XLSX格式文件数据将同步保存至数据下载功能。通过该功能，您可将所需历史下载文件重新下载至本地使用，也可追溯历史下载记录的操作详情。前提条件 已通过如下模块...
数据分析作业
MaxCompute是适用于数据分析场景的企业级SaaS模式云数据仓库，支持在多种工具上使用MaxCompute运行大数据计算分析作业。如果您需要进行简单的查询等数据分析作业，推荐您使用SQL查询或DataWorks的临时查询等工具，高效便捷地完成数据分析...
查看同步任务
DataHub DataConnector是把DataHub服务中的流式数据同步到其他云产品中的功能，目前支持将Topic中的数据实时/准实时同步到MaxCompute(ODPS)、OSS、ElasticSearch、RDS Mysql、ADS、TableStore中。用户只需要向DataHub中写入一次数据，并在...
通用数据开发
通常数据开发的总体流程包括数据产生、数据收集与存储、数据分析与处理、数据提取和数据展现与分享。说明 上图中，虚线框内的开发流程均可基于阿里云大数据平台完成。数据开发的流程如下所示：数据产生：业务系统每天会产生大量结构化的...
如何选择产品类型
对比项 基础版 专业版 适用场景 现代数据仓库 准实时分析 流式处理和分析 在存储、计算分离的架构之上支持：现代数据仓库 准实时分析 流式处理和分析 主要功能 Runtime：提供约50个开源组件（包含常见存储、计算组件）。Cloudera Manager：...
游戏运营融合分析
降低使用成本：DLA融合冷数据分析+ADB存储密集型温数据分析+ADB计算密集型热数据分析，在满足各种分析场景需求的同时，有效地降低客户的总体使用成本。学习成本低：Data Lake Analytics（简称DLA）和ADB兼容标准SQL语法，无需额外学习其他...
基因分析应用
基因数据分析工作，需要用户使用不同的生物信息学工具软件，进行一系列复杂的计算过程，才能得到最终的分析结果。以遗传病的数据分析举例，需要进行数据质控、序列比对、变异检测和变异注释等多个步骤。图1：基因数据分析流程（来源/《中华...
引擎简介
云原生多模数据库 Lindorm 消息引擎是Lindorm面向IoT、车联网、日志等流式数据提供的数据接入服务，支持业务原始数据高吞吐写入，并基于流引擎的实时处理能力，业务只需做简单开发，即可快速实现数据的ETL并入库到Lindorm宽表引擎。...
概述
本文介绍DMS数据分析的基本概念、设计理念和主要应用场景。背景信息 DMS数据分析提供典型的数据集、仪表盘和大屏模型，在仪表盘或大屏中提供丰富的可视化图表和组件来展示数据。您可以将数据库中的表或单条SQL查询结果作为数据集，在仪表盘...
访问数据分析功能
本文介绍访问数据分析功能的三种方式。通过顶部菜单栏直接进入数据可视化 登录 数据管理DMS 5.0。在顶部菜单栏中，选择 集成与开发（DTS）>数据应用>数据分析。通过数据库的SQL窗口进入数据可视化 登录 数据管理DMS 5.0。在顶部菜单栏中，...
导出数据
分析型数据库MySQL版对海量数据分析计算后支持输出（DUMP）数据结果，目前支持两种DUMP方式：导出数据到OSS 导出数据到MaxCompute
功能特性
海量时空数据的快显分析能力 快速时空数据分析能力能够处理海量数据，并支持对千万级矢量数据进行可视化分析，帮助用户实时验证分析结果。内置地理统计分析能力 我们提供内置的地理统计分析功能，可以科学而专业地使用颜色、符号、宽度、...
Superset连接数据湖分析
本文主要介绍如何使用Superset连接DLA进行数据分析。背景信息 DLA对外暴露的是MySQL的协议，大多数BI工具可以使用MySQL连接器直接连接DLA，由于Superset对于表的定义语句校验严格，同时DLA的建表语句与MySQL的建表语句存在差别，这导致...
函数概述
聚合函数：聚合函数主要应用于一组数据计算出一个结果 二进制函数：二进制函数 位运算函数：位运算函数 转换函数：尝试隐式转换数值类型和字符类型值到正确的类型 日期和时间函数：日期和时间函数 漏斗数据分析函数：漏斗数据分析函数 地理...
概述
DataHub Connector可以将DataHub中的流式数据同步至MaxCompute。您只需要向DataHub中写入数据，并在DataHub中配置同步功能，便可以在MaxCompute中使用这些数据。详情请参见 通过DataHub迁移日志数据至MaxCompute。此方法多用于公测和自研。...
快速入门
根据业务需求，连接宽表引擎或时序引擎：使用非结构化数据分析与处理功能：通过Lindorm-cli连接并使用Lindorm宽表引擎。使用时序数据分析与处理功能：通过Lindorm-cli连接并使用Lindorm时序引擎。创建模型。查看已创建的模型状态是否已就绪...
EMR Workbench
阿里云EMR Workbench是一个综合性的大数据分析和开发环境，作为阿里云E-MapReduce的一部分，它提供了EMR Notebook和EMR Workflow两个核心功能。通过EMR Workbench，您可以轻松进行数据开发，以及交互式数据分析，并设计复杂的数据处理工作...
封装流式数据（DataHub）API
本文介绍如何封装流式数据API。前提条件 工作组管理员账号登录。已创建“信息中心（xxzx）”工作组，具体操作，请参见 新建工作组并添加成员。已在系统设置添加DataHub云计算资源，具体操作，请参见 新建云计算资源。已创建API归属应用，...
系统管理
本文介绍了在数据分析中设置系统管理的具体操作。您可以在系统管理中管理SQL查询任务时所使用的资源组。使用限制 仅阿里云主账号可以访问系统管理页面。系统管理中的配置仅在本租户的当前地域生效。进入系统管理 进入数据分析。在左侧菜单...
互联网行业实时BI分析
本文以某互联网公司为例，介绍如何将DB业务数据和日志数据实时同步到 云原生数据仓库AnalyticDB MySQL版 中，然后通过Quick BI进行实时可视化数据分析。相对于传统的关系型数据库，云原生数据仓库AnalyticDB MySQL版 只需要毫秒级时间，...
功能特性
Serverless Presto概述 DLA Serverless Spark DLA Serverless Spark基于云原生架构，提供面向数据湖场景的数据分析和计算。开通DLA服务后，您只需简单的配置，就可以提交Spark作业；无需关心Spark集群部署。Serverless Spark概述
简介
随着AI技术的发展，Data Fabric与AI的融合不仅增强了数据交付的灵活性，也降低了数据分析的难度，使得数据分析对所有人来说都变得更加易行，开启了人人参与数据分析的新时代。DMS数据分析与应用介绍 DMS通过Data Fabric+大模型构建数据管理...
概述
通常 IT人员、数据研发人员 或 数据分析师 等需要 数据加工处理 时使用。在数据集管理中，您可以对数据集（数据源中的表或通过SQL创建的数据集）关联、二次数据处理分析、编辑或重命名等操作。操作流程 操作步骤 创建并管理数据集 自定义...
- 产品推荐
- 这些文档可能帮助您