DLA Lakehouse实时入湖
DLA Lakehouse实时入湖方案利用数据湖技术，重构数仓语义；分析数据湖数据，实现数仓的应用。本文以RDS MySQL数据源为例介绍了RDS MySQL从入湖到分析的操作步骤。背景信息 数据湖分析（Data Lake Analytics）是⽬前炙⼿可热的⽅向，主要是...
Lindorm实时入湖建仓分析
DLA Lakehouse实时入湖方案利用数据湖技术，重构数仓语义，分析数据湖数据，实现数仓的应用。本文介绍Lindorm实时入湖建仓分析的操作步骤。方案介绍 DLA Lakehouse的Lindorm实时入湖建仓分析助力企业构建大数据离在线一体化，主要包括三...
Lindorm（HBase）数据入库与ETL
栅格数据入库 Pipeline技术 Pipeline模型是DLA Ganos基于GeoTrellis开源项目开发的用于栅格数据快速加载、处理和入库的ETL技术。Pipeline模型包含了一系列功能模块：如读取数据（Load），转换（Transform），保存数据（Save）等。DLA Ganos...
读写AnalyticDB for PostgreSQL数据
说明 当您在AnalyticDB for PostgreSQL的白名单中添加了100.104.0.0/16 IP地址段，即视为您同意DLA利用VPC反向访问技术访问AnalyticDB for PostgreSQL。创建数据库和表，具体操作请参见 数据库管理 和 数据表管理。示例如下：#创建数据库...
读写RDS MySQL数据
为了让DLA能够访问RDS实例，需要利用VPC反向访问技术，即在RDS白名单中添加 100.104.0.0/16 IP地址段。具体操作请参考 设置IP白名单。说明 当您在RDS白名单中添加了 100.104.0.0/16 IP地址段，即视为您同意DLA利用VPC反向访问技术读写RDS...
账号概览
说明 您可以使用钉钉搜索群号30372915加入数据湖DLA开发交流群，联系技术支持答疑。账号类型 权限说明 使用说明 阿里云账号 默认拥有所有的OpenAPI调用权限和控制台操作权限。主要针对DLA服务进行全量管理。阿里云账号用于开通和管理DLA...
授予RAM账号细粒度访问DLA的权限
说明 您可以使用钉钉搜索群号30372915加入数据湖DLA开发交流群，联系技术支持答疑。自定义策略 您可以通过RAM控制台或者调用RAM API CreatePolicy 创建一个自定义策略，在 脚本配置 方式的自定义策略中，您需要根据JSON模板文件填写 策略...
Spark FAQ
解决方案：您可以通过Provided、Relocation等Maven常见的冲突解决方式来解决，相关技术属于通用技术，您可以进行搜索或者参考 dla spark demo项目 进行Maven Pom配置。为什么Spark SQL作业使用show tables或者show database查询发现显示的...
一键同步RDS表结构
为了让DLA能访问RDS，需要利用VPC反向访问技术，即在RDS白名单中添加 100.104.0.0/16 IP地址段。说明 当您在RDS白名单中添加了 100.104.0.0/16 IP地址段，即视为您同意阿里云利用VPC反向访问技术读写RDS数据。准备工作 通过DLA读写RDS数据...
联合查询多个MySQL实例
为了让DLA访问MySQL，需要利用VPC反向访问技术，即在MySQL白名单中添加 100.104.0.0/16 IP地址段。说明 权限声明：当您在MySQL白名单中添加了 100.104.0.0/16 IP地址段，即视为您同意我们利用VPC反向访问技术读取MySQL数据库数据。步骤一：...
背景信息以及准备工作
为了让DLA访问Redis，需要利用VPC反向访问技术，即在Redis白名单中添加 100.104.0.0/16 IP地址段。权限声明：当您在Redis白名单中添加了 100.104.0.0/16 IP地址段，即视您为同意我们利用VPC反向访问技术读取Redis数据库数据。实施步骤 创建...
背景信息以及准备工作
为了让DLA访问PolarDB，需要利用VPC反向访问技术，即在PolarDB白名单中添加 100.104.0.0/16 IP地址段。注意 当您在PolarDB白名单中添加了 100.104.0.0/16 IP地址段，即视为您同意我们利用VPC反向访问技术读写PolarDB数据库数据。
读写Elasticsearch数据
云原生数据湖分析DLA（Data Lake Analytics）中支持接入Elasticsearch，通过标准SQL语句读取Elasticsearch中的数据，从而实现Elasticsearch中的数据与其他数据源的数据联合查询等业务需求。本文档主要介绍了DLA读写Elasticsearch数据的操作...
Kafka实时入湖建仓分析
DLA Lakehouse实时入湖方案利用数据湖技术，重构数仓语义，分析数据湖数据，实现数仓的应用。本文介绍Kafka实时入湖建仓分析的操作步骤。前提条件 已在DLA中开通云原生数据湖分析服务。更多信息，请参见 开通云原生数据湖分析服务。已创建...
背景信息以及准备工作
为了让DLA能访问MongoDB，需要利用VPC反向访问技术，即在MongoDB白名单中添加 100.104.0.0/16 IP地址段。权限声明：当您在MongoDB白名单中添加了 100.104.0.0/16 IP地址段，即视为您同意我们利用VPC反向访问技术读写MongoDB数据库。实施...
基于MongoDB集合自动推断建表
为了让DLA能访问MongoDB，需要利用VPC反向访问技术，即在MongoDB白名单中添加 100.104.0.0/16 IP地址段。说明 当您在MongoDB白名单中添加了 100.104.0.0/16 IP地址段，即视为您同意我们利用VPC反向访问技术读写MongoDB数据库。操作步骤 您...
基于RDS表自动推断建表
为了让DLA能访问RDS，需要利用VPC反向访问技术，即在RDS白名单中添加 100.104.0.0/16 IP地址段。权限声明：当您使用了本文介绍的方法创建MySQL Schema，即视为您同意我们利用VPC反向访问技术读写RDS。示例一：通过CREATE TABLE LIKE ...
DLA子账号绑定RAM账号
为了打通DLA产品的Presto和Spark两个引擎的元数据互访互通，需要将RAM账号和DLA子账号进行绑定，这样您就可以通过DLA Presto访问到Spark引擎的库表，同样也可以通过Spark访问到DLA Presto引擎的库表。注意事项 一个RAM账号只能绑定到一个...
连接概览
在应用开发中，您可以通过Data Lake Analytics控制台连接DLA，也可以通过代码或者客户端连接DLA。本文档主要对连接DLA的方式进行了一个简单概述。连接说明 通过Data Lake Analytics控制台连接DLA时，您需要获取以下连接信息。连接地址和...
Airflow调度DLA Spark作业
as dag:dla_spark_conf={"spark.driver.resourceSpec":"medium","spark.executor.resourceSpec":"medium","spark.sql.hive.metastore.version":"dla","spark.dla.connectors":"oss","spark.hadoop.job.oss.fileoutputcommitter.enable":...
Power BI
本文主要介绍如何通过Power BI连接DLA。前提条件 已安装Power BI。已安装MySQL Connector。操作步骤 打开 Power BI，在 获取数据 菜单，选择 数据库>MySQL 数据库，单击 连接。在 MySQL 数据库 页面，进行参数配置。详细的参数配置如下表所...
功能特性
本文档主要介绍数据湖分析服务DLA包含的核心功能以及应用场景。数据湖分析服务DLA支持以下功能：功能名称 功能描述 参考文档 账号管理 账号分为DLA账号、RAM账号。您可以创建DLA子账号，并关联RAM子账号，关联后可以通过RAM子账号提交Spark...
管理DLA账号
在应用中以Root权限通过程序代码、MySQL命令行工具或者MySQL客户端连接DLA，然后通过GRANT为子账号授权。具体操作请参见 GRANT。撤销数据库子账号权限 您必须通过Root账号撤销子账号权限。关于如何撤销子账号权限，请参见 REVOKE。
DBeaver
本文介绍何如通过DBeaver连接DLA。前提条件 开始使用DBeaver之前，您需要先完成以下准备工作。安装DBeaver。安装MySQL JDBC驱动。操作步骤 打开 DBeaver，单击 数据库>新建连接。在 创建新连接 页面，连接类型选择 MySQL，单击 下一步。在 ...
背景信息以及准备工作
Data Lake Analytics（简称DLA）作为云上数据处理的枢纽，支持通过标准JDBC连接 阿里云关系型数据库（Relational Database Service，简称RDS）（MySQL、SQLServer、PostgreSQL）数据库、云服务器（Elastic Compute Service，简称ECS）上的...
测试结果
1 TB测试数据下DLA Spark+OSS与自建Hadoop+Spark集群性能对比结果 集群类型 运行Terasort基准测试集耗时（h）费用价格（元）DLA Spark+OSS 0.701 577.42 自建Hadoop+Spark 0.733 10543.04 通过上述耗时和价格对比结果可以看出，作业性能上...
创建分区表
Repair:Added partition to metastore dla_oss_db.dla:y=2018/m=12 Repair:Added partition to metastore dla_oss_db.dla:y=2019/m=2 步骤四：使用SHOW PARTITIONS命令查看分区信息 MSCK执行成功后，可以通过 SHOW PARTITIONS 查看分区表中...
快速配置子账号权限
重要 云原生数据湖分析（DLA）产品已退市，云原生数据仓库 AnalyticDB MySQL 版 湖仓版支持DLA已有功能，并提供更多的功能和更好的性能。AnalyticDB for MySQL 相关使用文档，请参见 账号授权。前提条件 已创建RAM子账号。具体请参见 创建...
产品简介
DLA Ganos是基于云原生数据湖分析（Data Lake Analytics，DLA）系统设计开发的，面向时空大数据存储与计算的数据引擎产品。基于DLA无服务器化（Serverless）数据湖分析服务与内置的Spark计算引擎，DLA Ganos打通了阿里云各个存储系统，如...
调度DLA Presto任务
您可以在数据管理DMS中创建和调度DLA任务流实现数仓开发，任务流只需定义一次，即可周期性地自动被调度执行，大大减少人工操作成本。同时执行DLA任务流时产生的中间结果可以被复用，例如用于其他数据分析任务，从而最大化利用DLA的资源。...
SQL WorkBench/J
本文介绍如何通过SQL WorkBench/J连接DLA。背景信息 开始使用SQL WorkBench/J之前，您需要先完成以下准备工作。下载并安装MySQL JDBC驱动。下载并安装SQL WorkBench/J。操作步骤 打开SQL WorkBench/J，单击 File>Manage Drivers.在 ...
OSS
重要 云原生数据湖分析（DLA）产品已退市，云原生数据仓库 AnalyticDB MySQL 版 湖仓版支持DLA已有功能，并提供更多的功能和更好的性能。AnalyticDB for MySQL 相关使用文档，请参见 访问OSS数据源。操作步骤 配置DLA访问OSS的权限。如果您...
调度DLA Spark任务
DLA Serverless Spark目前支持DataWorks和DMS编排调度任务，同时也提供自定义SDK和Spark-Submit工具包供用户自定义编排调度。本文将介绍如何使用DMS来编排调度Spark任务。前提条件 您已开通DMS服务。您已开通云原生数据湖分析服务，详情请...
使用DLA访问
本文介绍通过数据湖分析（DLA）连接 云原生多模数据库 Lindorm 文件引擎的方法，并使用SQL查询文件引擎中的数据。前提条件 云原生多模数据库 Lindorm 实例已开通文件引擎，具体请参见 开通指南。将专有网络的IP添加至Lindorm实例的白名单中...
授权DLA删除OSS文件
使用一键建仓功能时，如果您需要在DLA中进行从OSS数据到RDS、PolarDB for MySQL、MongoDB、ECS自建数据库数据的ETL（Extract Transform Load）操作，需要为DLA授予删除OSS数据的权限。步骤一：创建自定义授权策略 使用DLA服务所属的阿里云...
什么是云原生数据湖分析
重要 云原生数据湖分析（DLA）产品已退市，云原生数据仓库 AnalyticDB MySQL 版 湖仓版支持DLA已有功能，并提供更多的功能和更好的性能。AnalyticDB for MySQL 相关使用文档，请参见 云原生数据仓库AnalyticDB MySQL版产品简介。云原生数据...
Navicat for MySQL
本文介绍如何通过Navicat for MySQL连接DLA。背景信息 开始使用Navicat for MySQL之前，需要先安装Navicat for MySQL。操作步骤 打开Navicat for MySQL，单击 文件>新建连接>MySQL。在 新建连接 页面，进行参数配置，详细的参数说明如下所...
按扫描量付费
当您通过DLA对本地或第三方数据源中的数据进行关联分析，DLA会根据扫描的数据量进行计费。本文主要介绍按扫描量付费DLA的计费规则 和计费示例。计费规则 计费时，DLA保证扫描的每条数据至少为32MB。DLA每小时生成一个收费订单，并从您的...
DLA Spark快速入门
本文介绍如何在DLA控制台跑通SparkPi。准备事项 您需要在提交作业之前首先创建虚拟集群，具体操作请参考 创建虚拟集群。说明 创建虚拟集群时注意选择引擎类型为 Spark。如果您是子账号登录，需要配置子账号提交作业的权限，具体操作请参考 ...
ActionTrail日志清洗
DLA提供ActionTrail日志自动清洗解决方案，可以将ActionTrail投递到OSS的日志文件转换为DLA中可以直接查询的数据表，同时自动对数据进行分区和压缩，方便您分析和审计对云产品的操作日志。日志分析痛点 ActionTrail是阿里云提供的云账号...
- 产品推荐
- 这些文档可能帮助您