数据湖构建服务条款
您对于服务的使用将优先消耗订购的资源包，除法定及双方另行约定外，如资源包中的各项服务使用完毕或者服务期限到期，且您未继续订购资源包服务 但持续使用此项服务的，阿里云将视为您使用阿里云以后付费形式售卖的该服务（如有），阿里云...
GetRegionStatus-获取数据湖构建服务开通状态
获取数据湖构建指定地域的服务开通状态。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 当前API暂无授权信息透出。请求语法 GET/webapi/...
服务等级协议
自2021年1月起，数据湖构建（DLF）服务等级协议（SLA）生效。详细内容参考 数据湖构建服务等级协议。
GetServiceStatus-获取某个用户的服务开通状态
获取数据湖构建某个用户的服务开通状态。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 下表是API对应的授权信息，可以在RAM权限策略语句的...
服务接入点
亚太 地域名称 地域ID 公网接...华北3（张家口）cn-zhangjiakou dlf.cn-zhangjiakou.aliyuncs.comdlf-vpc.cn-zhangjiakou.aliyuncs.com华东1（杭州）cn-hangzhou dlf.cn-hangzhou.aliyuncs.comdlf-vpc.cn-hangzhou.aliyuncs.com华东2（上海）...
Spark SQL
Spark与DLA SQL引擎以及数据湖构建服务共享元数据。重要 云原生数据湖分析（DLA）产品已退市，云原生数据仓库 AnalyticDB MySQL 版 湖仓版支持DLA已有功能，并提供更多的功能和更好的性能。AnalyticDB for MySQL 相关使用文档，请参见 ...
关系数据库全量入湖
前提条件 已开通数据湖构建服务，尚未开通请点击 开通数据湖构建。操作步骤 登录 数据湖构建控制台，选择 数据入湖>入湖任务管理。单击 新建入湖任务，选择“关系数据库全量入湖”并单击下一步。配置数据源与目标数据湖信息。详情请参考 入...
快速入门
指定RAM角色，数据湖构建服务所代理的角色，默认为AliyunDLFWorkFlowDefaultRole。选择运行抽取任务所需的资源，并指定任务运行方式。详细操作请参见 入湖模板。创建数据湖的元数据 添加元数据库 创建元数据表，指定表中数据的存储位置和...
入湖基础操作
RAM角色：设置数据湖构建服务所代理的角色，默认角色为AliyunDLFWorkFlowDefaultRole。您可以根据业务需要在RAM中自定义一个Role。最大资源使用量：设置运行入湖任务所需要的资源。数据湖构建采用计算单元为计算单位，1个计算单元（CU，...
API概览
通用服务 API 标题 API概述 GetRegionStatus 获取数据湖构建服务开通状态 获取数据湖构建指定地域的服务开通状态。GetServiceStatus 获取某个用户的服务开通状态 获取数据湖构建某个用户的服务开通状态。DescribeRegions 获取开通的地区 ...
Kafka实时入湖
前提条件 已开通数据湖构建服务，尚未开通请点击 开通数据湖构建。操作步骤 登录 数据湖构建控制台，选择 数据入湖>入湖任务管理。单击 新建入湖任务，选择“Kafka实时入湖”并单击下一步。配置数据源。数据源连接：Kafka数据源需要提前在 ...
创建集群
如果没有开通数据湖构建服务，需要单击请前往开通。参见 数据湖元数据管理 统一meta数据库：表示元数据存储在集群本地环境的MySQL数据库中 独立RDS MySQL：表示使用自建的阿里云RDS作为元数据库，更多信息请参见 共享独立RDS元数据库 设置...
数据湖管理FAQ
地域 数据湖构建服务 中国，香港 正常 日本，东京 正常 新加坡 正常 美国，硅谷 正常 美国，弗吉尼亚 正常 英国，伦敦 正常 德国，法兰克福 正常 马来西亚，吉隆坡 正常 为什么一键建仓任务成功了，有的表没有同步过来？您可以在任务运行...
Iceberg概述
核心能力 Apache Iceberg设计初衷是为了解决Hive数仓上云的问题，经过多年迭代已经发展成为云上构建数据湖服务的表格式标准。关于Apache Iceberg的更多介绍，请参见 Apache Iceberg官网。目前Iceberg提供以下核心能力：基于HDFS或者对象...
DataWorks on EMR快速入门
说明 选择该方式时，需要开通阿里云数据湖构建服务。集群存储根路径 1366993922*当您在可选服务区域选择了OSS-HDFS服务时，需要配置该参数，如果选择的是HDFS服务，则无需配置该参数。说明 在选择使用OSS-HDFS服务之前，请确保您选择的地域...
数据探索简介
运行查询 登录 数据湖构建控制台，在左侧菜单中选择 数据探索。左侧数据库/表区域，会列举出当前账户下所有元数据库和元数据表。您可以在此区域查看元数据表的基础信息，或者生成数据预览SQL语句。在右侧SQL编辑器区域，输入SQL语句。本...
常见问题
本文为您介绍数据湖构建的常见问题。如何申请数据湖构建产品的公测资格？数据湖构建如何收费？数据湖构建与OSS有什么区别？什么情况下我需要使用数据湖构建？如何申请数据湖构建产品的公测资格？请使用阿里云 主账号 进行公测资格申请（请...
角色管理
本文档主要为您说明如何管理数据湖构建中的角色。说明 子账号需要具备admin（数据湖管理员）或 super_administrator（超级管理员）的权限，才可以进行角色相关操作。查看角色信息 1.打开 数据湖构建控制台，并打开数据权限管理-角色菜单。2...
MaxCompute湖仓一体概述
当前支持的湖仓一体构建方式如下：通过MaxCompute、数据湖构建DLF和对象存储OSS构建湖仓一体：数据湖的元数据（Schema）全部位于DLF中。MaxCompute可以利用DLF对OSS元数据的管理能力，提升对OSS半结构化格式（Delta Lake、Hudi、AVRO、CSV...
用户管理
本文档主要为您说明如何管理数据湖构建中已添加的用户。查看用户列表 1.打开 数据湖构建控制台，并打开数据权限管理-用户菜单。2.打开用户列表信息页面。说明 此处管理的用户为添加到数据湖构建中的用户，目前仅支持添加RAM用户到数据湖...
使用限制
Hive DB Lock manager API 不支持 Hive Db Transaction Manager API 不支持 Hive Constraint：如Primary key/Foreign key 不支持Hive SQL Standards Based Authorization 旧版Hive权限，开源社区已不再发展，建议使用数据湖构建数据权限...
Location托管
Location托管可以将数据湖OSS中的存储数据托管到数据湖构建（DLF）中进行管理和分析，在托管Location后将可以为你提供 存储概览，生命周期管理介绍，数据表-数据概况（如数据访问频次，数据最后更新时间等），以及存储权限（规划中）等数据...
新增授权
DLF角色：指在数据湖构建（DLF）中定义的角色，关于角色的管理，可以在 数据湖构建控制台 进行配置。2.主体选择：可以选择一个或多个RAM用户/角色或DLF角色。选择授权资源 授权方式：目前仅支持资源授权，资源授权指对数据目录、数据库、...
生命周期管理介绍
费用说明 使用生命周期管理功能，涉及两部分费用，如下：数据湖构建（DLF）产品的生命周期管理功能，目前公测中，当前阶段免费。OSS生命周期费用说明，请参考 生命周期费用说明 注意事项 如果数据被转为归档、冷归档的数据将无法被计算引擎...
计费模式
本文介绍数据湖构建中各资源的计费规格，包括入湖作业资源用量、数据存储对象和元数据请求三部分。计量计费项 重要 DLF产品目前所有功能为 0折扣活动阶段，即使超过免费阶梯限定后，目前也均不会产生实际计费。元数据对象的存储量 元数据...
DLF数据探索快速入门-淘宝用户行为分析
DLF产品（数据湖构建）提供数据发现和数据探索的功能，本文介绍如何通过DLF完成对淘宝用户行为样例的分析。操作流程 服务开通：开通阿里云账号及DLF和OSS相关服务。样例数据集下载和导入：下载样例数据（csv文件），并上传至OSS。DLF数据...
DLF统一元数据
背景信息 阿里云数据湖构建是一款全托管的快速帮助用户构建云上数据湖的服务，产品为云原生数据湖提供了统一的元数据管理、统一的权限与安全管理、便捷的数据入湖能力以及一键式数据探索能力，详细信息请参见 数据湖构建产品简介。...
2021年
新功能 MaxCompute提供湖仓一体方案，该方案可以打破数据湖与数据仓库割裂的体系，并将数据湖的灵活性、生态丰富能力与数据仓库的企业级部署能力进行融合，助力构建数据湖和数据仓库相融合的数据管理平台。MaxCompute湖仓一体概述 2021年2...
湖格式管理
操作步骤 查看优化策略 打开数据湖构建控制台 点击菜单湖管理-湖格式管理 查看优化策略列表，如下图所示 设置优化策略阈值 在优化策略列表页，点击设置阈值，可以为策略设置执行的阈值，满足阈值后，将会自动执行优化策略。禁用优化策略 在...
Flink VVP+DLF数据入湖与分析实践
已开通阿里云数据湖构建（DLF）服务。如果您没有开通，则可以在 DLF产品首页，单击 立即开通。本文以MySQL数据源为例，需要创建RDS MySQL，详情请参见 创建RDS MySQL实例。如果使用其他数据源入湖可忽略。说明 创建的RDS MySQL需要和实时...
存储概览
数据湖构建DLF后续还将推出生命周期管理功能，帮助您对湖内数据进行自动归档。目前功能开发中。存储格式分布 统计表的存储格式分布情况。大小文件分布和排名 统计大小文件分布及排名情况，根据业务情况，针对小文件较多的表进行优化，提高...
典型场景
基于湖构建数据平台，支持BI、挖掘等业务 对象存储OSS可以作为湖存储，DLA基于OSS构建一站式的大数据平台。具体包括构建数据湖、数据ETL、交互式查询、机器学习等功能。构建数据湖 实时数据湖：支持DB的CDC与消息数据（如Kafka）入湖，构建...
使用数据探索查询Iceberg表
操作步骤 登录 数据湖构建控制台，在左侧菜单中选择 数据探索。在SQL输入框中，输入查询语句。针对Iceberg表，需要在指定的元数据库和表之前，加上dlf_catalog.前缀。例如：SELECT*FROM dlf_catalog.database_name.iceberg_table limit 100...
权限说明
数据湖构建（DLF）产品的权限体系主要分为RAM权限以及DLF数据权限控制两大类，如果您要访问DLF的页面或数据，一般都需要通过这两层权限校验，才可以正确的访问到数据资源。RAM 权限：主要控制DLF所有OpenAPI的访问权限，决定RAM用户是否...
快速使用TPC-DS测试数据集
操作步骤 登录 数据湖构建控制台，在左侧菜单中选择 数据探索。在左侧点击 创建数据集-开始创建TPC-DS数据集 按钮。点击后，会自动执行一系列初始化SQL：在您的元数据中创建名为sampledata_tpcds_3g的库，并在库中创建24个TPC-DS的数据表。...
数据治理
EMR集群类型 元数据存储类型 数据存储类型：OSS 数据存储类型：OSS-HDFS 数据存储类型：HDFS 新版数据湖集群（DataLake）数据湖构建（DLF）RDS实例 MySQL 自定义集群（Custom）数据湖构建（DLF）RDS实例 MySQL 其他集群-数据保护伞为什么有...
数据权限概述
您可以在数据湖构建-数据权限-用户功能中点击RAM用户查看用户名信息。在使用E-MapReduce引擎时，建议使用 管理用户 添加与RAM用户同名的Linux或LDAP用户。Owner权限的定义 资源Owner拥有对应资源的所有权限。例如元数据库的Owner为RAM用户...
什么是云原生数据湖分析
DLA提供了数据湖构建、Presto&Spark引擎。寻求安全的数据处理解决方案。DLA所有的库表及存储的数据都有一整套安全的方案，避免数据被误用。寻求低成本的数据处理方案。DLA方案是完全Serverless的解决方案，是阿里云提供的云原生的数据处理...
- 产品推荐
- 这些文档可能帮助您