功能特性
本文档主要介绍数据湖分析服务DLA包含的核心功能以及应用场景。数据湖分析服务DLA支持以下功能：功能名称 功能描述 参考文档 账号管理 账号分为DLA账号、RAM账号。您可以创建DLA子账号，并关联RAM子账号，关联后可以通过RAM子账号提交Spark...
与Spark集成分析
DLA Ganos是基于云原生数据湖分析（Data Lake Analytics，DLA）系统设计开发的，面向时空大数据存储与计算的数据引擎产品。基于DLA无服务器化（Serverless）数据湖分析服务与内置的Spark计算引擎，DLA Ganos提供了不同级别的数据分析模型，...
与Spark集成分析
DLA Ganos是基于云原生数据湖分析（Data Lake Analytics，DLA）系统设计开发的，面向时空大数据存储与计算的数据引擎产品。基于DLA无服务器化（Serverless）数据湖分析服务与内置的Spark计算引擎，DLA Ganos提供了不同级别的数据分析模型，...
产品简介
基于DLA无服务器化（Serverless）数据湖分析服务与内置的Spark计算引擎，DLA Ganos打通了阿里云各个存储系统，如PolarDB、Lindorm(HBase)、OSS等，通过统一的时空数据模型与计算接口，实现对多源异构数据的一体化管理与计算，并支持进行...
OSS访问日志分析
您可以通过日志服务SLS存储和分析OSS日志数据，也可以将OSS日志数据导出并存储到指定的OSS目录长期保存，然后通过数据湖分析服务对长期保存的OSS日志数据进行分析。通过数据湖分析服务（Data Lake Analytics，DLA）分析OSS日志数据前，您...
常见术语
本文档主要介绍云原生数据湖分析（Data Lake Analytics，DLA）文档中涉及的基本概念。数据湖 数据湖是一个集中式存储库，允许您以任意规模存储所有结构化和非结构化数据，数据湖支持存储EB级别的数据，阿里云数据湖存储以OSS为代表！数据湖...
访问数据分析功能
本文介绍访问数据分析功能的三种方式。通过顶部菜单栏直接进入数据可视化 登录 数据管理DMS 5.0。在顶部菜单栏中，选择 集成与开发（DTS）>数据应用>数据分析。通过数据库的SQL窗口进入数据可视化 登录 数据管理DMS 5.0。在顶部菜单栏中，...
友盟数据分析
您可以通过阿里云数据湖分析DLA的数据订阅功能对原始明细log数据进行查询和分析。开通友盟+DLA的组合方案 登录 友盟+数据银行控制台，在 未开通服务 页面的 Data Lake Analytics 区域，单击 立即开通。输入需要订阅数据的友盟账号和密码，...
API概览
云原生数据湖分析DLA提供以下相关API接口。Serverless Spark API 描述 SubmitSparkSQL 提交SparkSQL作业。SubmitSparkJob 提交Spark作业。GetJobStatus 获取Spark作业的执行状态。服务管理 API 描述 CreateInstance 创建实例。...
元数据抽取
元数据抽取可以分析数据湖中特定格式的数据，并自动生成元数据信息，通过周期性或手动执行，实现数据湖分析计算shema on read目标。使用限制 抽取的数据存储仅支持数据存储在阿里云OSS标准型中的数据。目前元数据发现仅支持json、csv、...
请求结构
请求地址的构成 数据湖分析通过API操作Spark作业的请求结构如下所示：http://openanalytics.[region-id].aliyuncs.com/?Action=XXX &<公共请求参数>&<接口需求参数>所有接口支持GET方法来调用。调用地址需要填入RegionId 公共请求参数 是...
计费模式
本文介绍数据湖构建中各资源的计费规格，包括入湖作业资源用量、数据存储对象和元数据请求三部分。计量计费项 重要 DLF产品目前所有功能为 0折扣活动阶段，即使超过免费阶梯限定后，目前也均不会产生实际计费。元数据对象的存储量 元数据...
产品优势
云原生数据湖分析DLA（Data Lake Analytics）是新一代大数据解决方案，采取计算与存储完全分离的架构，支持数据库与消息实时归档建仓。DLA提供弹性的Spark与Presto，满足在线交互式查询、流处理、批处理、机器学习等诉求，也是传统Hadoop...
测试结果
本次测试采用3种不同的测试场景，针对开源自建的Hadoop+Spark集群与阿里云云原生数据湖分析DLA Spark在执行Terasort基准测试的性能做了对比分析。本文档主要展示了开源自建Spark和DLA Spark在3种测试场景下的测试结果及性能对比分析。1 TB...
DLA Presto CU版本快速入门
本文主要教您如何快速上手阿里云云原生数据湖分析DLA Presto CU版本。操作步骤 创建虚拟集群 与Serverless Presto扫描版不同，在CU版本下执行SQL前，必须要创建一个虚拟集群。具体请参见 虚拟集群管理。说明 创建虚拟集群时，选项 引擎 ...
ActionTrail日志清洗
在DLA中完成以下操作：开通DLA服务，请参见 开通云原生数据湖分析服务。初始化DLA数据库主账号密码，请参见 重置数据库账号密码。步骤一：创建Schema 登录 Data Lake Analytics管理控制台。在页面左上角，选择DLA所在地域。在左侧导航栏...
数据分析作业
MaxCompute是适用于数据分析场景的企业级SaaS模式云数据仓库，支持在多种工具上使用MaxCompute运行大数据计算分析作业。如果您需要进行简单的查询等数据分析作业，推荐您使用SQL查询或DataWorks的临时查询等工具，高效便捷地完成数据分析...
使用流程
云原生数据湖分析DLA（Data Lake Analytics）是无服务器（Serverless）化的云上交互式查询分析服务，支持通过Presto和Spark引擎分析多种数据源中的数据。快速入门旨在介绍如何开通DLA、构建数据湖、调用Presto和Spark引擎进行数据分析与...
SDK安装与使用
获取开发用的SDK 可以在PIP的仓库中获取数据湖分析最新的开发SDK包，地址为 Python SDK官方地址。使用SDK提交Spark作业 获取用户的AccessKey，详情请参见 获取AccessKey。获取当前使用区的RegionId,阿里云各区的RegionId可以参见 地域和...
背景信息以及准备工作
在同一地域开通 数据湖分析 DLA（Data Lake Analytics）服务、AnalyticDB for MySQL 3.0 以及 对象存储服务 OSS（Object Storage Service）服务。在AnalyticDB for MySQL中创建数据库和表，用于存储OSS数据，请参见 CREATE DATABASE、...
管理RAM账号
云原生数据湖分析DLA使用的系统策略如下：AliyunDLAFullAccess：管理DLA的权限，包括对DLA中所有资源的所有操作权限。AliyunDLADeveloperAccess：开发者权限，与AliyunDLAFullAccess策略相比，不授予虚拟集群的创建、修改、释放等操作权限...
DLF中数据入湖功能停止更新公告
数据湖构建（DLF）产品的数据入湖功能已于2023年02月15日停止更新，但会持续运维已有数据入湖作业。为了确保您业务连续性，建议您采用其他方式进行数据入湖，推荐使用 数据集成概述 或 Flink CDC：如 MySQL CDC DataStream Connector。停止...
BI分析功能简介
DataV的BI分析功能是基于DataV6.0迭代更新后的数据映射能力，通过简便实用的数据模型构建、视觉绑定和交互式动态数据查询，向用户提供探索数据间关系的能力，可以丰富可视化视图的创作模式，完善可视分析循环。本文介绍BI分析的基本概念。...
版本发布记录
本文介绍云原生数据湖分析DLA的产品功能动态。2021年6月 类别 功能点 描述 相关文档 集群管理 监控报警 Spark集群支持监控报警。查看Spark监控 数据湖管理 从库读取 Lakehouse支持RDS、PolarDB MySQL从库读取。无 性能提升 Lakehouse支持DB...
约束和限制
本文档主要介绍了云原生数据湖分析（Data Lake Analytics，DLA）的限制约束条件。账号和元数据限制 限制 描述 每个账号可购买虚拟集群数量的最大值 10 每个DLA Presto虚拟集群可配置的数据源网络数量 1 每个账号可创建数据库的最大值 100 ...
Flink VVP+DLF数据入湖与分析实践
Flink任务可以利用数据湖统一存储的优势，使用Hudi结果表或Iceberg结果表，将作业的结果输出到数据湖中，实现数据湖分析。在写入数据湖的过程中，Flink可以通过设置DLF Catalog，将表的元数据同步到数据湖构建（DLF）中。依托数据湖构建...
Paimon概述
您可以借助Apache Paimon快速地在HDFS或者云端OSS上构建自己的数据湖存储服务，并接入上述计算引擎实现数据湖的分析。目前Apache Paimon提供以下核心能力：基于HDFS或者对象存储构建低成本的轻量级数据湖存储服务。支持在流模式与批模式下...
使用OpenAPI
本文为您介绍使用数据湖构建OpenAPI的基本信息及注意事项。说明 关于如何使用阿里云OpenAPI，请参见学习文档：使用OpenAPI。基本信息 版本说明 版本号 说明 2020-07-10 推荐 接入点说明 参见 服务接入点。用户身份 用户身份 支持情况 阿里...
账号概览
说明 您可以使用钉钉搜索群号30372915加入数据湖DLA开发交流群，联系技术支持答疑。...主要针对DLA服务进行全量管理。...例如登录DLA控制台、创建虚拟集群等...推荐使用AnalyticDB MySQL湖仓版体验数据湖功能，详情请参见 AnalyticDB MySQL湖仓版。
关系数据库全量入湖
本文为您介绍如何在数据湖构建（Data Lake Formation，简称DLF）中使用关系数据库全量入湖任务将RDS或PolarDB数据批量同步到数据湖中。重要 数据入湖功能已经停止更新，如果您有数据入湖需求请参考：数据入湖停止更新公告。前提条件 已开通...
Kafka实时入湖
本文为您介绍如何在数据湖构建（Data Lake Formation，简称DLF）中使用Kafka实时入湖任务将数据同步到数据湖中。重要 数据入湖功能已经停止更新，如果您有数据入湖需求请参考：数据入湖停止更新公告。前提条件 已开通数据湖构建服务，尚未...
概述
本文介绍DMS数据分析的基本概念、设计理念和主要应用场景。背景信息 DMS数据分析提供典型的数据集、仪表盘和大屏模型，在仪表盘或大屏中提供丰富的可视化图表和组件来展示数据。您可以将数据库中的表或单条SQL查询结果作为数据集，在仪表盘...
资源类型索引
Domain：创建邮件推送的域名 ALIYUN:DirectMail:Ipfilter：添加IP白名单 DATASOURCE:DirectMail:Domains：查询域名列表信息 DATASOURCE:DirectMail:Ipfilters：获取IP筛选器列表 数据湖构建 ALIYUN:DLF:Catalog：创建数据湖元数据库 无 ...
【通知】停止售卖云原生数据湖分析DLA
阿里云计划停止售卖云原生数据湖分析DLA，其湖分析功能将并入云原生数据仓库AnalyticDB MySQL版。停售对象 云原生数据湖分析DLA 停售计划 2023年06月01日起，停止新购云原生数据湖分析DLA实例和开通服务。2023年12月01日起，停止升级云原生...
配置流入湖任务延迟监控
您可以通过云监控查看数据湖构建（DLF）流任务延迟状况，以及为每一个流任务设置报警规则，帮助您监控流任务运行状态。重要 数据入湖功能已经停止更新，如果您有数据入湖需求请参考：数据入湖停止更新公告。查看流任务监控数据 您可以在...
概述
数据湖构建可以帮助用户快速构建云上数据湖，采用统一的管理视角治理数据湖。本产品目前处于公测阶段，您可以随时开通使用，目前数据湖构建所有功能均为免费使用阶段。用户使用流程 数据湖构建将帮助您快速简洁抽取源数据到统一数据湖的...
支持的数据源
湖仓版（3.0）通过联邦分析功能同步至湖仓版 DTS 数仓版（3.0）通过DTS导入数据 湖仓版（3.0）通过DTS导入数据 一建建仓 数仓版（3.0）通过一键建仓同步至数仓版 MongoDB 外表 湖仓版（3.0）MongoDB数据导入 Oracle DataWorks 数仓版（3.0...
空间分析
您可以通过DAS的空间分析功能直观地查看某个数据库实例的空间使用概况、空间剩余可用天数，以及数据库中某个表的空间使用情况、空间碎片、空间异常诊断等，本文以RDS MySQL数据库为例介绍如何使用空间分析功能。注意事项 空间分析功能最多...
使用限制
您在使用数据湖构建（Data Lake Formation，简称DLF）控制台和接口时，产品做了如下限制，请在使用时注意不要超过相应的限制值，以免出现异常。数据湖元数据 限制项 用户配额 单表QPS 500 单表分区数量 100万 数据湖入湖预处理作业 限制项 ...
入湖基础操作
数据湖构建（Data Lake Formation，简称DLF）支持多种入湖任务类型用于快速构建数据湖，通过入湖任务，您可以定义数据入湖的方式和所消耗的资源。本文为您介绍入湖任务的基础操作。重要 数据入湖功能已经停止更新，如果您有数据入湖需求请...
- 产品推荐
- 这些文档可能帮助您