OSS Foreign Table功能概览
OSS Foreign Table（简称OSS FDW）是基于PostgreSQL ...支持 不支持 相关文档 使用OSS Foreign Table进行数据湖分析 使用OSS Foreign Table导出数据 使用OSS Foreign Table分区表 OSS Foreign Table使用技巧 OSS Foreign Table数据类型对照表
产品简介
DLA详情请参见 什么是云原生数据湖分析。使用场景 DLA Ganos的最基本的应用场景就是将存储在不同的数据库系统或文件系统中的时空数据，通过ETL操作，实现数据源之间的数据流转与协同分析。如下图所示，用户通过DLA Ganos可以加载OSS上的...
Flink VVP+DLF数据入湖与分析实践
Flink任务可以利用数据湖统一存储的优势，使用Hudi结果表或Iceberg结果表，将作业的结果输出到数据湖中，实现数据湖分析。在写入数据湖的过程中，Flink可以通过设置DLF Catalog，将表的元数据同步到数据湖构建（DLF）中。依托数据湖构建...
【通知】停止售卖云原生数据湖分析DLA
阿里云计划停止售卖云原生数据湖分析DLA，其湖分析功能将并入云原生数据仓库AnalyticDB MySQL版。停售对象 云原生数据湖分析DLA 停售计划 2023年06月01日起，停止新购云原生数据湖分析DLA实例和开通服务。2023年12月01日起，停止升级云原生...
使用流程
如果您是首次使用云原生数据湖分析DLA的用户，我们建议您先阅读以下部分：产品简介-本内容概述了云原生数据湖分析DLA的产品概念、产品优势及应用场景等内容。产品定价-本内容介绍了云原生数据湖分析DLA的产品定价、计费方式等信息。云原生...
管理RAM账号
云原生数据湖分析DLA使用的系统策略如下：AliyunDLAFullAccess：管理DLA的权限，包括对DLA中所有资源的所有操作权限。AliyunDLADeveloperAccess：开发者权限，与AliyunDLAFullAccess策略相比，不授予虚拟集群的创建、修改、释放等操作权限...
常见术语
本文档主要介绍云原生数据湖分析（Data Lake Analytics，DLA）文档中涉及的基本概念。数据湖 数据湖是一个集中式存储库，允许您以任意规模存储所有结构化和非结构化数据，数据湖支持存储EB级别的数据，阿里云数据湖存储以OSS为代表！数据湖...
OSS访问日志分析
您可以通过日志服务SLS存储和分析OSS日志数据，也可以将OSS日志数据导出并存储到指定的OSS目录长期保存，然后通过数据湖分析服务对长期保存的OSS日志数据进行分析。通过数据湖分析服务（Data Lake Analytics，DLA）分析OSS日志数据前，您...
版本发布记录
本文介绍云原生数据湖分析DLA的产品功能动态。2021年6月 类别 功能点 描述 相关文档 集群管理 监控报警 Spark集群支持监控报警。查看Spark监控 数据湖管理 从库读取 Lakehouse支持RDS、PolarDB MySQL从库读取。无 性能提升 Lakehouse支持DB...
使用限制
您在使用数据湖构建（Data Lake Formation，简称DLF）控制台和接口时，产品做了如下限制，请在使用时注意不要超过相应的限制值，以免出现异常。数据湖元数据 限制项 用户配额 单表QPS 500 单表分区数量 100万 数据湖入湖预处理作业 限制项 ...
删除服务访问点
删除VPC网络 进入 数据湖分析管理控制台。单击待删除VPC网络右侧的 删除。在弹出的 确认删除 框中，单击 确定。在弹出的 手机验证 框中，输入验证码，然后单击 确定 删除服务访问点。单击 更换手机，根据系统提示更换账号绑定手机。
典型场景
数据湖分析 云原生数据仓库AnalyticDB PostgreSQL版 可以通过外部表机制，高并行直接访问海量云存储OSS上的数据，构筑阿里云统一数据湖分析平台。产品功能优势 针对主要的OLAP业务，云原生数据仓库AnalyticDB PostgreSQL版 具备以下优势。...
DLA Spark快速入门
操作步骤 登录 云原生数据湖分析管理控制台。在 概览 页面的左上角，选择虚拟集群所在地域。单击左侧导航栏的 Serverless Spark>作业管理。在 作业编辑 页面，单击 创建作业模板，填写以下作业信息：新创建的作业中包含了SparkPi作业的默认...
常见问题
本文为您介绍数据湖构建的常见问题。如何申请数据湖构建产品的公测资格？数据湖构建如何收费？数据湖构建与OSS有什么区别？什么情况下我需要使用数据湖构建？如何申请数据湖构建产品的公测资格？请使用阿里云 主账号 进行公测资格申请（请...
使用OpenAPI
本文为您介绍使用数据湖构建OpenAPI的基本信息及注意事项。说明 关于如何使用阿里云OpenAPI，请参见学习文档：使用OpenAPI。基本信息 版本说明 版本号 说明 2020-07-10 推荐 接入...注意事项 推荐您使用阿里云SDK方式集成数据湖构建OpenAPI。
DLA Presto CU版本快速入门
本文主要教您如何快速上手阿里云云原生数据湖分析DLA Presto CU版本。操作步骤 创建虚拟集群 与Serverless Presto扫描版不同，在CU版本下执行SQL前，必须要创建一个虚拟集群。具体请参见 虚拟集群管理。说明 创建虚拟集群时，选项 引擎 ...
快速配置子账号权限
权限名称 权限说明 AliyunDLAFullAccess 用于数据湖分析的管理员权限，拥有数据湖分析的所有权限，可以执行新建集群、删除集群、提交作业等操作，拥有授权给DLA服务的角色的使用权。AliyunDLAReadOnlyAccess 用于数据湖分析的访客权限，...
数据分析：即时快速分析
数据分析基于“人人都是数据分析师”的产品目标，旨在为更多非专业数据开发人员，如数据分析、产品、运营等工作人员提供更加简洁高效的取数、用数工具，提升大家日常取数分析效率。功能概述 数据分析支持基于个人视角的数据上传、公共数据...
细粒度配置RAM子账号权限
权限策略的说明如下：权限策略名称 权限策略说明 AliyunDLAFullAccess 用于数据湖分析的管理员权限，拥有数据湖分析的所有权限，可以执行新建集群、删除集群、提交作业等操作，停止其它账号的作业等操作。拥有授权给DLA账户的角色的使用权...
背景信息以及准备工作
在同一地域开通 数据湖分析 DLA（Data Lake Analytics）服务、AnalyticDB for MySQL 3.0 以及 对象存储服务 OSS（Object Storage Service）服务。在AnalyticDB for MySQL中创建数据库和表，用于存储OSS数据，请参见 CREATE DATABASE、...
Cassandra
云原生数据湖分析（Data Lake Analytics，DLA）支持通过CU版访问Cassandra。本文主要介绍如何通过DLA连接并查询Cassandra上的数据。前提条件 DLA目前仅支持通过CU版访问Cassandra，请确保您已经开通了DLA CU版本，具体请参见 DLA Presto CU...
HiveMetastore
云原生数据湖分析（Data Lake Analytics，DLA）支持通过CU版访问用户自建的HiveMetastore。本文主要介绍如何通过DLA连接并查询HiveMetastore里存储在HDFS的数据。前提条件 DLA目前仅支持通过CU版访问HiveMetastore，请确保您已经开通了DLA ...
产品优势
数据共享 Databricks数据洞察采用数据湖分析的架构设计，使用阿里云对象存储服务（OSS）为核心存储，直接读取分析OSS的数据，无需对数据做二次迁移，实现数据在多引擎之间的共享。icmsDocProps={'productMethod':'created','language':'zh-...
友盟数据分析
您需要购买数据湖分析流量包并完成支付，通过阿里云数据湖分析DLA产品来进行数据的查询和投递。支付完成后请您不要关闭浏览器，等待开通成功的提示窗口。查询数据 服务开通成功之后，等待一段时间您就可以看到友盟自动为您的阿里云账号创建...
SDK安装与使用
使用SDK提交作业的代码如下所示：/*提交一个作业到数据湖分析Serverless Spark*@param regionId 使用的数据湖分析的REGION_ID*@param accessKeyId 用户AccessKeyId*@param accessKeySecret 用户AccessKeySecret*@param virtualClusterName ...
概述
用户使用流程 数据湖构建将帮助您快速简洁抽取源数据到统一数据湖的服务，用户使用流程如下：开通公测流程后，登录阿里云管理控制台，选择 数据湖构建，进入 数据湖管理控制台。参见 数据源管理 章节，创建数据源，选择希望导入到数据湖的...
元数据抽取
元数据抽取可以分析数据湖中特定格式的数据，并自动生成元数据信息，通过周期性或手动执行，实现数据湖分析计算shema on read目标。使用限制 抽取的数据存储仅支持数据存储在阿里云OSS标准型中的数据。目前元数据发现仅支持json、csv、...
Paimon概述
您可以借助Apache Paimon快速地在HDFS或者云端OSS上构建自己的数据湖存储服务，并接入上述计算引擎实现数据湖的分析。目前Apache Paimon提供以下核心能力：基于HDFS或者对象存储构建低成本的轻量级数据湖存储服务。支持在流模式与批模式下...
什么是云原生数据湖分析
重要 云原生数据湖分析（DLA）产品已退市，云原生数据仓库 AnalyticDB MySQL 版 湖仓版支持DLA已有功能，并提供更多的功能和更好的性能。AnalyticDB for MySQL 相关使用文档，请参见 云原生数据仓库AnalyticDB MySQL版产品简介。云原生数据...
数据下载
在DataWorks的数据开发（DataStudio）、数据分析、安全中心模块下载的CSV、XLSX格式文件数据将同步保存至数据下载功能。通过该功能，您可将所需历史下载文件重新下载至本地使用，也可追溯历史下载记录的操作详情。前提条件 已通过如下模块...
应用场景
使用StarRocks统一管理数据湖和数据仓库，将高并发和实时性要求很高的业务放在StarRocks中分析，也可以使用StarRocks外表查询功能进行数据湖上的分析。典型场景的解决方案 OLAP通用场景解决方案 业务背景：该方案适用于多种业务场景，包括...
创建和执行Spark作业
本文介绍如何在数据湖分析控制台创建和执行Spark作业。准备事项 您需要在提交作业之前先创建虚拟集群。说明 创建虚拟集群时注意选择引擎类型为 Spark。如果您是子账号登录，需要配置子账号提交作业的权限，具体请参考 细粒度配置RAM子账号...
应用场景
数据湖分析 Databricks数据洞察支持计算存储分离的数据湖架构。使用阿里云对象存储OSS作为云上存储，DDI集群提供灵活的计算资源，OSS上的数据可以被多个DDI集群共享，减少数据冗余。同时，DataInsight Notebook支持多用户同时协同工作，您...
基于Delta lake的一站式数据湖构建与分析实战
企业构建和应用数据湖一般需要经历数据入湖、数据湖存储与管理、数据湖探索与分析等几个过程。本文主要介绍基于阿里云数据湖构建（DLF）构建一站式的数据入湖与分析实战。背景信息 随着数据时代的不断发展，数据量爆发式增长，数据形式也变...
与Spark集成分析
DLA Ganos是基于云原生数据湖分析（Data Lake Analytics，DLA）系统设计开发的，面向时空大数据存储与计算的数据引擎产品。基于DLA无服务器化（Serverless）数据湖分析服务与内置的Spark计算引擎，DLA Ganos提供了不同级别的数据分析模型，...
与Spark集成分析
DLA Ganos是基于云原生数据湖分析（Data Lake Analytics，DLA）系统设计开发的，面向时空大数据存储与计算的数据引擎产品。基于DLA无服务器化（Serverless）数据湖分析服务与内置的Spark计算引擎，DLA Ganos提供了不同级别的数据分析模型，...
BI分析功能简介
DataV的BI分析功能是基于DataV6.0迭代更新后的数据映射能力，通过简便实用的数据模型构建、视觉绑定和交互式动态数据查询，向用户提供探索数据间关系的能力，可以丰富可视化视图的创作模式，完善可视分析循环。本文介绍BI分析的基本概念。...
功能特性
本文档主要介绍数据湖分析服务DLA包含的核心功能以及应用场景。数据湖分析服务DLA支持以下功能：功能名称 功能描述 参考文档 账号管理 账号分为DLA账号、RAM账号。您可以创建DLA子账号，并关联RAM子账号，关联后可以通过RAM子账号提交Spark...
构建数据仓库
平台支撑多种形式的应用，包括使用机器学习算法进行复杂数据分析、使用BI报表进行图表展现、使用可视化产品进行大屏展示、使用其他自定义的方式消费数据。构建智能实时数据仓库 本场景推荐的架构如下。适用行业：适用于电商、游戏、社交等...
ClickHouse
前提条件 您已开通数据湖分析DLA（Data Lake Analytics）服务，详情请参见 开通云原生数据湖分析服务 并在 云原生数据湖分析DLA控制台 上创建了 Spark虚拟集群。您已开通对象存储OSS（Object Storage Service）服务，详情请参见 开通OSS...
- 产品推荐
- 这些文档可能帮助您