【通知】停止售卖云原生数据湖分析DLA
阿里云计划停止售卖云原生数据湖分析DLA，其湖分析功能将并入云原生数据仓库AnalyticDB MySQL版。停售对象 云原生数据湖分析DLA 停售计划 2023年06月01日起，停止新购云原生数据湖分析DLA实例和开通服务。2023年12月01日起，停止升级云原生...
版本发布记录
本文介绍云原生数据湖分析DLA的产品功能动态。2021年6月 类别 功能点 描述 相关文档 集群管理 监控报警 Spark集群支持监控报警。查看Spark监控 数据湖管理 从库读取 Lakehouse支持RDS、PolarDB MySQL从库读取。无 性能提升 Lakehouse支持DB...
快速配置子账号权限
重要 云原生数据湖分析（DLA）产品已退市，云原生数据仓库 AnalyticDB MySQL 版 湖仓版支持DLA已有功能，并提供更多的功能和更好的性能。AnalyticDB for MySQL 相关使用文档，请参见 账号授权。前提条件 已创建RAM子账号。具体请参见 创建...
什么是云原生数据湖分析
重要 云原生数据湖分析（DLA）产品已退市，云原生数据仓库 AnalyticDB MySQL 版 湖仓版支持DLA已有功能，并提供更多的功能和更好的性能。AnalyticDB for MySQL 相关使用文档，请参见 云原生数据仓库AnalyticDB MySQL版产品简介。云原生数据...
与Spark集成分析
基于DLA无服务器化（Serverless）数据湖分析服务与内置的Spark计算引擎，DLA Ganos提供了不同级别的数据分析模型，最基础的是GeometryRDD模型，用来实现Ganos数据中SimpleFeature与Spark中RDD模型的之间的转换。在GeometryRDD基础上，DLA ...
与Spark集成分析
基于DLA无服务器化（Serverless）数据湖分析服务与内置的Spark计算引擎，DLA Ganos提供了不同级别的数据分析模型，最基础的是GeometryRDD模型，用来实现Ganos数据中SimpleFeature与Spark中RDD模型的之间的转换。在GeometryRDD基础上，DLA ...
细粒度配置RAM子账号权限
权限策略的说明如下：权限策略名称 权限策略说明 AliyunDLAFullAccess 用于数据湖分析的管理员权限，拥有数据湖分析的所有权限，可以执行新建集群、删除集群、提交作业等操作，停止其它账号的作业等操作。拥有授权给DLA账户的角色的使用权...
OSS访问日志分析
您可以通过日志服务SLS存储和分析OSS日志数据，也可以将OSS日志数据导出并存储到指定的OSS目录长期保存，然后通过数据湖分析服务对长期保存的OSS日志数据进行分析。通过数据湖分析服务（Data Lake Analytics，DLA）分析OSS日志数据前，您...
产品简介
基于DLA无服务器化（Serverless）数据湖分析服务与内置的Spark计算引擎，DLA Ganos打通了阿里云各个存储系统，如PolarDB、Lindorm(HBase)、OSS等，通过统一的时空数据模型与计算接口，实现对多源异构数据的一体化管理与计算，并支持进行...
计费概述
计费方式 计费类别 说明 适用场景 相关文档 按计算资源付费 数据湖分析CU版根据购买的CU规格进行计费，费用跟运行查询扫描的数据量没有关系。计费模式如下。包年包月。按量付费。适用于查询频率高、查询数据量较大的场景，同时也能够给您...
友盟数据分析
您需要购买数据湖分析流量包并完成支付，通过阿里云数据湖分析DLA产品来进行数据的查询和投递。支付完成后请您不要关闭浏览器，等待开通成功的提示窗口。查询数据 服务开通成功之后，等待一段时间您就可以看到友盟自动为您的阿里云账号创建...
删除服务访问点
删除VPC网络 进入 数据湖分析管理控制台。单击待删除VPC网络右侧的 删除。在弹出的 确认删除 框中，单击 确定。在弹出的 手机验证 框中，输入验证码，然后单击 确定 删除服务访问点。单击 更换手机，根据系统提示更换账号绑定手机。
DLA Spark快速入门
操作步骤 登录 云原生数据湖分析管理控制台。在 概览 页面的左上角，选择虚拟集群所在地域。单击左侧导航栏的 Serverless Spark>作业管理。在 作业编辑 页面，单击 创建作业模板，填写以下作业信息：新创建的作业中包含了SparkPi作业的默认...
约束和限制
本文档主要介绍了云原生数据湖分析（Data Lake Analytics，DLA）的限制约束条件。账号和元数据限制 限制 描述 每个账号可购买虚拟集群数量的最大值 10 每个DLA Presto虚拟集群可配置的数据源网络数量 1 每个账号可创建数据库的最大值 100 ...
API概览
云原生数据湖分析DLA提供以下相关API接口。Serverless Spark API 描述 SubmitSparkSQL 提交SparkSQL作业。SubmitSparkJob 提交Spark作业。GetJobStatus 获取Spark作业的执行状态。服务管理 API 描述 CreateInstance 创建实例。...
元数据抽取
元数据抽取可以分析数据湖中特定格式的数据，并自动生成元数据信息，通过周期性或手动执行，实现数据湖分析计算shema on read目标。使用限制 抽取的数据存储仅支持数据存储在阿里云OSS标准型中的数据。目前元数据发现仅支持json、csv、...
请求结构
请求地址的构成 数据湖分析通过API操作Spark作业的请求结构如下所示：http://openanalytics.[region-id].aliyuncs.com/?Action=XXX &<公共请求参数>&<接口需求参数>所有接口支持GET方法来调用。调用地址需要填入RegionId 公共请求参数 是...
调度DLA Spark任务
您已开通云原生数据湖分析服务，详情请参见 开通云原生数据湖分析服务 您已开通OSS服务，详情请参见 开通OSS服务。您已创建DLA Spark虚拟集群，详情请参见 创建虚拟集群。说明 如果您想用RAM用户提交Spark作业，且之前未使用过RAM用户在DLA...
湖仓一体
有关SelectDB支持的外部数据源，请参见 数据湖分析 和 数据库分析。云数据库SelectDB 也提供表函数功能（Table-Value-Function或TVF），支持把S3、HDFS等常见远端存储中的文件数据，映射成 云数据库SelectDB 中的表，从而方便地对这些文件...
DLA Presto CU版本快速入门
本文主要教您如何快速上手阿里云云原生数据湖分析DLA Presto CU版本。操作步骤 创建虚拟集群 与Serverless Presto扫描版不同，在CU版本下执行SQL前，必须要创建一个虚拟集群。具体请参见 虚拟集群管理。说明 创建虚拟集群时，选项 引擎 ...
Spark SQL
重要 云原生数据湖分析（DLA）产品已退市，云原生数据仓库 AnalyticDB MySQL 版 湖仓版支持DLA已有功能，并提供更多的功能和更好的性能。AnalyticDB for MySQL 相关使用文档，请参见 Spark SQL开发。Spark访问数据湖元数据服务 Spark引擎...
基于SLS+OSS+DLA构建海量、低成本日志分析方案
利用阿里云日志服务（Log Service，SLS）来投递日志和查询热日志，利用阿里云对象存储服务（Object Storage Service，OSS）来持久存储由SLS服务实时投递的日志，利用阿里云云原生数据湖分析（Data Lake Analytics，DLA）来分析存储在OSS的...
ClickHouse
前提条件 您已开通数据湖分析DLA（Data Lake Analytics）服务，详情请参见 开通云原生数据湖分析服务 并在 云原生数据湖分析DLA控制台 上创建了 Spark虚拟集群。您已开通对象存储OSS（Object Storage Service）服务，详情请参见 开通OSS...
创建和执行Spark作业
本文介绍如何在数据湖分析控制台创建和执行Spark作业。准备事项 您需要在提交作业之前先创建虚拟集群。说明 创建虚拟集群时注意选择引擎类型为 Spark。如果您是子账号登录，需要配置子账号提交作业的权限，具体请参考 细粒度配置RAM子账号...
测试环境
本次测试针对开源自建的Presto与阿里云云原生数据湖分析DLA Presto在OSS数据源上执行查询的性能做了对比分析。本文档主要介绍了测试环境的配置要求。环境配置要求 客户端ECS与服务端（Presto和DLA Presto）处于同一地域、同一可用区。本例...
如何使用T+1全量同步一键建仓
在DLA中进行如下操作：开通DLA服务，具体请参见 开通云原生数据湖分析服务。初始化DLA数据库主账号密码，具体请参见 重置数据库账号密码。操作步骤 一键创建OSS数据仓库 创建一键建仓任务后，根据业务需要，您也可以在 数据入湖 页面的 ...
按扫描量付费
您可以登录 数据湖分析管理控制台，通过 费用>订单 查看消费记录。如何节省费用 您可以先通过以下3种方式对原始数据进行处理，然后再使用DLA扫描数据，可以节省一定的费用。格式转换：把原始数据的格式转换为高性能格式。DLA支持多种高性能...
背景信息以及准备工作
在同一地域开通 数据湖分析 DLA（Data Lake Analytics）服务、AnalyticDB for MySQL 3.0 以及 对象存储服务 OSS（Object Storage Service）服务。在AnalyticDB for MySQL中创建数据库和表，用于存储OSS数据，请参见 CREATE DATABASE、...
扫描量版本与CU版本的差异
当您 开通云原生数据湖分析服务（DLA）后，根据您实际的使用场景，您可以选择扫描量版本或者CU版本。DLA Presto引擎既支持扫描量版本也支持CU版本，DLA Spark只支持CU版本。扫描量版本 DLA默认版本，适用于查询频率低、查询数据量较小的...
测试结果
本次测试采用3种不同的测试场景，针对开源自建的Hadoop+Spark集群与阿里云云原生数据湖分析DLA Spark在执行Terasort基准测试的性能做了对比分析。本文档主要展示了开源自建Spark和DLA Spark在3种测试场景下的测试结果及性能对比分析。1 TB...
ActionTrail日志清洗
在DLA中完成以下操作：开通DLA服务，请参见 开通云原生数据湖分析服务。初始化DLA数据库主账号密码，请参见 重置数据库账号密码。步骤一：创建Schema 登录 Data Lake Analytics管理控制台。在页面左上角，选择DLA所在地域。在左侧导航栏...
Cassandra
云原生数据湖分析（Data Lake Analytics，DLA）支持通过CU版访问Cassandra。本文主要介绍如何通过DLA连接并查询Cassandra上的数据。前提条件 DLA目前仅支持通过CU版访问Cassandra，请确保您已经开通了DLA CU版本，具体请参见 DLA Presto CU...
读写Elasticsearch数据
云原生数据湖分析DLA（Data Lake Analytics）中支持接入Elasticsearch，通过标准SQL语句读取Elasticsearch中的数据，从而实现Elasticsearch中的数据与其他数据源的数据联合查询等业务需求。本文档主要介绍了DLA读写Elasticsearch数据的操作...
Quick BI连接MaxCompute
本文为您介绍如何使用Quick BI连接MaxCompute项目，并进行可视化数据分析。背景信息 智能分析套件Quick BI是一个专为云上用户量身打造的易上手、性能强的大数据分析及可视化平台，可以让每个人都能成为数据分析师。Quick BI不仅是业务人员...
读写AnalyticDB for PostgreSQL数据
数据湖分析DLA（Data Lata Analytics）支持接入AnalyticDB for PostgreSQL服务，通过标准SQL语句读写AnalyticDB for PostgreSQL中的数据。准备工作 您需要在AnalyticDB for PostgreSQL中进行以下操作：创建实例和配置实例，具体操作请参见 ...
HiveMetastore
云原生数据湖分析（Data Lake Analytics，DLA）支持通过CU版访问用户自建的HiveMetastore。本文主要介绍如何通过DLA连接并查询HiveMetastore里存储在HDFS的数据。前提条件 DLA目前仅支持通过CU版访问HiveMetastore，请确保您已经开通了DLA ...
Kafka
重要 云原生数据湖分析（DLA）产品已退市，云原生数据仓库 AnalyticDB MySQL 版 湖仓版支持DLA已有功能，并提供更多的功能和更好的性能。AnalyticDB for MySQL 相关使用文档，请参见 访问Kafka数据源。前提条件 在DLA Serverless Spark中...
读写MaxCompute数据
准备工作 在DLA中完成以下准备工作：开通云原生数据湖分析服务 重置数据库账号密码 在MaxCompute中完成以下准备工作：开通MaxCompute 创建和查看表 在DataWorks中完成以下准备工作：创建MaxCompute表 建表并上传数据 操作步骤 创建...
调度DLA Presto任务
开通DLA服务，请参见 开通云原生数据湖分析服务。初始化数据库主账号密码，请参见 重置数据库账号密码。创建Schema和表。创建Schema CREATE SCHEMA gmall with DBPROPERTIES(LOCATION='oss:/oss-bucket-name/gmall/',catalog='oss'); ...
HDFS
云原生数据湖分析（Data Lake Analytics，DLA）支持通过CU版访问用户自建的HDFS。本文主要介绍如何通过DLA连接并查询HDFS上的数据。前提条件 DLA目前仅支持通过CU版访问HDFS，请确保您已经开通了DLA CU版本，详情请参见 CU版本快速入门。...
- 产品推荐
- 这些文档可能帮助您