流式数据通道概述
本文为您介绍如何使用流式数据通道服务。功能介绍 MaxCompute流式数据通道服务已商业化且不计费，您可以免费使用。MaxCompute流式数据通道服务自2021年1月1日起开始公测，公测期间可直接免费使用，后续商业化通知请关注 公告。以下服务支持...
使用Tunnel命令或Tunnel SDK
MaxCompute的客户端（odpscmd）、Studio等数据上传下载工具...使用流式数据通道SDK上传数据的使用案例请参见：简单上传示例 多线程上传示例 异步化IO多线程上传示例 使用Streaming Tunnel SDK上传数据的具体操作请参考 Streaming Tunnel SDK。
数据分析：即时快速分析
数据分析基于“人人都是数据分析师”的产品目标，旨在为更多非专业数据开发人员，如数据分析、产品、运营等工作人员提供更加简洁高效的取数、用数工具，提升大家日常取数分析效率。功能概述 数据分析支持基于个人视角的数据上传、公共数据...
数据分析概述
DataWorks提供的数据分析平台，可以流畅地进行数据处理、分析、加工及可视化操作。在数据分析板块中，您不仅可以在线洞察数据，还可以编辑和共享数据。本文为您介绍数据分析平台的优势、功能、权限等概要信息。产品优势 与本地数据分析相比...
使用DataWorks连接
使用场景 数据分析使用场景 数据分析的 SQL查询 功能使用场景如下：您可以通过数据分析的 SQL查询 功能查询数据，并通过分析模式的Web Excel对查询结果进行分析。您也可以下载查询结果至本地，减少数据的流动，更好地保障数据安全。...
附录：预设角色权限列表（空间级）
开发 运维 部署 访客 安全管理员 模型设计师 查看数据分析产品页面 有 有 有 有 有 有 有 有 有 使用数据分析产品 有 有 有 有 有 有 无 有 有 说明 自定义角色 默认无 数据分析师 角色权限，该类角色如果需要使用数据分析产品，请联系 ...
SQL查询
数据源白名单访问控制 当使用数据分析操作MaxCompute表数据时，如果MaxCompute项目空间开启了白名单访问控制，数据分析的相关服务（例如，费用计算、数据下载、维表使用、数据上传等）可能会出现报错。为保证DataWorks数据分析服务能顺利...
用户价值
数据应用更智能：提供面向业务人员的无代码业务模型构建能力和数据分析能力，大大降低数据获取和分析门槛，让业务人员可以直接使用数据，积累沉淀业务模型，能够向上层应用提供更加智能的数据。数据资产更清晰：从宏观到微观助力数据管理方...
使用阿里云Flink（流式数据传输）
MaxCompute提供了使用流式数据通道的Flink插件，支持使用Flink在高并发、高QPS场景下写入MaxCompute。前提条件 已开通 实时计算Flink版 的Blink服务并创建Blink项目。更多开通Blink及创建Blink项目的信息。已安装使用流式数据通道的 Flink...
使用Logstash（流式数据传输）
该插件的特点如下：使用流式数据通道，避免通过批量数据通道导入产生的并发和小文件问题。支持动态分区，可以根据Logstash解析的日志字段产生分区字段，能够自动创建不存在的分区。logstash-output-maxcompute 插件应用于如下场景：需要...
创建DataHub项目
阿里云流数据处理平台DataHub是流式数据（Streaming Data）的处理平台，提供对流式数据的发布（Publish），订阅（Subscribe）和分发功能，让您可以轻松构建基于流式数据的分析和应用。前提条件 您已经完成了 创建RDS MySQL数据库表。操作...
数据下载
前提条件 已通过如下模块执行数据下载操作：数据分析>查询下载：在数据分析中使用SQL语句查询并下载数据。详情请参见 SQL查询。数据分析>电子表格：在数据分析中使用电子表格下载数据。详情请参见 下载电子表格。数据开发>查询下载：在数据...
产品概述
阿里云流数据处理平台数据总线DataHub是流式数据（Streaming Data）的处理平台，提供对流式数据的发布(Publish)，订阅（Subscribe）和分发功能，让您可以轻松构建基于流式数据的分析和应用。数据总线 DataHub服务可以对各种移动设备，应用...
OSS Foreign Table功能概览
OSS Foreign Table（简称OSS FDW）是基于PostgreSQL Foreign Data Wrapper（简称PG FDW）框架开发的用于访问OSS数据的数据分析方案，支持将OSS数据导入至 AnalyticDB PostgreSQL版，且提供分区表功能，在性能、功能以及稳定性上都优于OSS ...
SDK接口
本文为您介绍流式数据通道SDK接口的使用方法。使用说明 您可以基于MaxCompute Studio通过Java SDK使用MaxCompute流式数据通道服务。您可以使用以下配置在MaxCompute Studio上添加指定版本的pom依赖。groupId>...
数据可视化展现
在数据分析中使用数据源，需要先给数据源授权，您可以进入 安全中心>安全策略>数据查询与分析管控>可查询数据源 界面，找到需要查询的数据源，单击 操作 列的 授权，为您的账号授权，详情请参见 安全中心。创建 临时文件。方式一：首次进入...
数据传输服务（上传）场景与工具
流式数据通道写入 MaxCompute流式数据通道服务提供了以流式的方式将数据写入MaxCompute的能力，使用与原批量数据通道服务不同的一套全新的API及后端服务。流式数据写入到MaxCompute的方案如下。SDK接口：提供流式语义API，通过流式服务的...
构建数据仓库
平台支撑多种形式的应用，包括使用机器学习算法进行复杂数据分析、使用BI报表进行图表展现、使用可视化产品进行大屏展示、使用其他自定义的方式消费数据。构建智能实时数据仓库 本场景推荐的架构如下。适用行业：适用于电商、游戏、社交等...
数据传输服务概述
流式数据通道使用限制说明。限制项 限制说明 单Slot写入速度 1 MB/s。单Slot写入请求数 每秒10个。单表并发写入分区数 64个。单分区最大可用Slot数 32个。StreamUploadSession占用Slot数 受Slot并发数限制，创建StreamUploadSession时指定...
使用数据集成迁移数据到AnalyticDB MySQL 2.0
操作步骤 下面以RDS for SQLServer数据源为例，介绍如果如何通过数据集成把数据同步到 云原生数据仓库AnalyticDB MySQL版 2.0集群中，使用分析型数据库MySQL版进行数据分析。配置SQLServer数据源 配置分析型数据库MySQL版数据源 配置同步...
配置同步任务中的数据来源和去向
成功将数据导入分析型数据库MySQL版后，您就可以使用分析型数据库MySQL版进行数据分析。进入 DataWorks控制台，单击对应项目操作栏中的 数据开发。单击左侧菜单栏中的 数据开发，右键单击 业务流程 新建一个流程。右键单击 步骤2 中新建的...
从资源赋权概述
授权后，权限生效的用户可以协同编辑该数据集，同时也支持使用数据集进行数据分析。使用：用于设置数据集的使用权限。授权后，权限生效的用户可以基于数据集进行数据分析。列级权限：授权后，可以对目标用户隐藏或脱敏目标字段值，从而保证...
实时研发基本流程概述
流程指引 使用Dataphin进行实时研发的基本流程如下：主流程 描述 操作指导 准备工作 使用Dataphin进行实时研发前您需完成相关云资源的准备。云资源准备包括阿里云账号资源准备、Dataphin开通与AccessKey配置、Ververica Flink计算源的开通...
实时研发基本流程概述
流程指引 使用Dataphin进行实时研发的基本流程如下：主流程 描述 操作指导 准备工作 使用Dataphin进行实时研发前您需完成相关云资源的准备。云资源准备包括阿里云账号资源准备、Dataphin开通与AccessKey配置、Ververica Flink计算源的开通...
BI分析功能简介
BI分析可以通过灵活，零代码，自动化的方式使用数据、分析数据和产出视图。BI分析功能主要包括以下三个部分：DataV数据集：创建完成某个数据集后，可使用其中的各种数据查询和建模能力，BI分析提供方便快捷的组件分析模式，让用户可以在...
自建Oracle迁移至DataHub
阿里云流式数据服务DataHub 是流式数据（Streaming Data）的处理平台，提供对流式数据的发布、订阅和分发功能，让您可以轻松构建基于流式数据的分析和应用。本文介绍如何使用数据传输服务DTS（Data Transmission Service）将自建Oracle迁移...
使用DataHub（实时数据传输）
DataHub 是MaxCompute提供的流式数据处理（Streaming Data）服务，它提供流式数据的发布（Publish）和订阅（Subscribe）的功能，让您可以轻松构建基于流式数据的分析和应用。DataHub同样提供流式数据归档的功能，支持流式数据归档至...
DataV分析模式介绍
本教程主要介绍DataV分析模式的基本概念，帮助用户以灵活、0代码、自动化的方式使用数据和分析数据，支持数据的下钻和联动分析。前提条件 在您了解组件分析模式这部分内容前，您需要提前了解DataV6.0数据集：请参见 DataV6.0数据集介绍。...
快速体验
DataWorks的数据分析功能为企业提供了全面的数据分析和服务共享能力，可便捷地连接多种数据源、支持SQL查询，并提供电子表格等多样化的数据分析工具，以满足企业日常的数据提取和分析需求。本文将通过MaxCompute引擎在SQL查询中对公共数据...
事件流概述
应用场景 流式ETL处理 事件流作为更轻量、实时（real-time）端到端的流式事件通道，提供轻量流式数据的过滤和转换的能力，在不同的数据仓库之间、数据处理程序之间、数据分析和处理系统之间进行数据同步，连接不同的系统与服务。...
在工作空间创建数据源或注册集群
工作空间创建完成后，您需要先将您的数据库或数据仓库，通过创建数据源的方式添加至DataWorks工作空间，或将您的集群注册至DataWorks工作空间，以便进行数据同步、数据分析与开发、数据调度等操作。本文主要以使用正式开发环境为例，为您...
有数BI
AnalyticDB MySQL版 支持您将 AnalyticDB MySQL版 数据接入网易有数BI，帮助您轻松完成数据分析和数据可视化工作。本文为您介绍如何使用网易有数BI连接 AnalyticDB MySQL版，并进行可视化数据分析。前提条件 在执行操作前，请确认您已满足...
产品简介
数据库体验 DLA Ganos基于Spark SQL设计开发了一系列针对空间数据分析的用户API，内置了大量基本时空UDF算子，用户可以像操作关系型数据库那样通过SQL处理海量时空数据，方便灵活。时空数据统一建模 DLA Ganos基于Spark RDD设计开发了统一...
全景视角
数据使用视角：在数据分析、发布或使用数据服务等数据使用场景下，建议您使用数据使用视角，关注查看数据使用过程中，浏览、访问过的表列表、拥有权限的数据服务等方面的情况。详情请参见：数据使用视角。数据生产视角：在数据开发场景下，...
查询概述
查询进阶 查询加速 为了提供极致的数据分析服务，SelectDB中采用了查询优化技术，包含基于Cascades框架的全新优化器、基于Pipeline的执行引擎、高并发点查、物化视图、索引加速、Join优化等。通常情况下，SelectDB会自动优化查询规划和执行...
SLS的OSS投递数据源
使用DLA的Serverless Spark及Presto引擎能够计算和分析DLA元数据管理的全域数据，可以支持ETL后数据交付、低频全量日志数据分析、日志数据关联DB数据分析等业务场景。操作步骤 登录 Data Lake Analytics管理控制台。在左侧导航栏，单击 ...
DataWorks on EMR Serverless StarRocks最佳实践
数据分析 您可以使用DataWorks的数据分析子模块，对EMR Serverless StarRocks表数据进行快速分析，操作要点如下。进入SQL查询页面。登录 DataWorks控制台，切换至目标地域后，单击左侧导航栏的 数据分析>SQL查询，在下拉框中选择对应工作...
功能发布记录（2024年）
订阅成功后，账单数据会定时同步至MaxCompute，您可使用DataWorks的数据分析功能查询并分析账单数据，将分析结果生成可视化图表卡片及报告，同时，也可将您的阿里云消费分析报告分享给其他用户。2024.2.22 所有地域 所有DataWorks用户 账单...
2023年
授权实践 2023-09-14 新增（邀测）MaxCompute Notebook使用说明 新说明 MaxCompute Notebook是由MaxCompute提供的全托管、交互式数据分析挖掘模块，为数据工程师、数据分析师及数据科学家等人员提供Web交互式开发环境。支持用户通过SQL、...
数据源支持概述
从EMR-3.21.0版本开始支持使用Spark SQL开发流式分析作业。本文介绍Spark SQL支持的数据源类型，以及支持数据源的方式。支持的数据源 数据源 批量读 批量写 流式读 流式写 Kafka 有 无 有 有 Loghub 有 有 有 有 Tablestore 有 有 有 有 ...
- 产品推荐
- 这些文档可能帮助您