关系数据库全量入湖
前提条件 已开通数据湖构建服务，尚未开通请点击 开通数据湖构建。操作步骤 登录 数据湖构建控制台，选择 数据入湖>入湖任务管理。单击 新建入湖任务，选择“关系数据库全量入湖”并单击下一步。配置数据源与目标数据湖信息。详情请参考 入...
快速入门
指定RAM角色，数据湖构建服务所代理的角色，默认为AliyunDLFWorkFlowDefaultRole。选择运行抽取任务所需的资源，并指定任务运行方式。详细操作请参见 入湖模板。创建数据湖的元数据 添加元数据库 创建元数据表，指定表中数据的存储位置和...
入湖基础操作
RAM角色：设置数据湖构建服务所代理的角色，默认角色为AliyunDLFWorkFlowDefaultRole。您可以根据业务需要在RAM中自定义一个Role。最大资源使用量：设置运行入湖任务所需要的资源。数据湖构建采用计算单元为计算单位，1个计算单元（CU，...
API概览
通用服务 API 标题 API概述 GetRegionStatus 获取数据湖构建服务开通状态 获取数据湖构建指定地域的服务开通状态。GetServiceStatus 获取某个用户的服务开通状态 获取数据湖构建某个用户的服务开通状态。DescribeRegions 获取开通的地区 ...
Kafka实时入湖
前提条件 已开通数据湖构建服务，尚未开通请点击 开通数据湖构建。操作步骤 登录 数据湖构建控制台，选择 数据入湖>入湖任务管理。单击 新建入湖任务，选择“Kafka实时入湖”并单击下一步。配置数据源。数据源连接：Kafka数据源需要提前在 ...
数据湖管理FAQ
地域 数据湖构建服务 中国，香港 正常 日本，东京 正常 新加坡 正常 美国，硅谷 正常 美国，弗吉尼亚 正常 英国，伦敦 正常 德国，法兰克福 正常 马来西亚，吉隆坡 正常 为什么一键建仓任务成功了，有的表没有同步过来？您可以在任务运行...
Spark SQL
Spark与DLA SQL引擎以及数据湖构建服务共享元数据。重要 云原生数据湖分析（DLA）产品已退市，云原生数据仓库 AnalyticDB MySQL 版 湖仓版支持DLA已有功能，并提供更多的功能和更好的性能。AnalyticDB for MySQL 相关使用文档，请参见 ...
Iceberg概述
核心能力 Apache Iceberg设计初衷是为了解决Hive数仓上云的问题，经过多年迭代已经发展成为云上构建数据湖服务的表格式标准。关于Apache Iceberg的更多介绍，请参见 Apache Iceberg官网。目前Iceberg提供以下核心能力：基于HDFS或者对象...
DataWorks on EMR快速入门
说明 选择该方式时，需要开通阿里云数据湖构建服务。集群存储根路径 1366993922*当您在可选服务区域选择了OSS-HDFS服务时，需要配置该参数，如果选择的是HDFS服务，则无需配置该参数。说明 在选择使用OSS-HDFS服务之前，请确保您选择的地域...
常见问题
本文为您介绍数据湖构建的常见问题。如何申请数据湖构建产品的公测资格？数据湖构建如何收费？数据湖构建与OSS有什么区别？什么情况下我需要使用数据湖构建？如何申请数据湖构建产品的公测资格？请使用阿里云 主账号 进行公测资格申请（请...
角色管理
本文档主要为您说明如何管理数据湖构建中的角色。说明 子账号需要具备admin（数据湖管理员）或 super_administrator（超级管理员）的权限，才可以进行角色相关操作。查看角色信息 1.打开 数据湖构建控制台，并打开数据权限管理-角色菜单。2...
服务等级协议
自2021年1月起，数据湖构建（DLF）服务等级协议（SLA）生效。详细内容参考 数据湖构建服务等级协议。
用户管理
本文档主要为您说明如何管理数据湖构建中已添加的用户。查看用户列表 1.打开 数据湖构建控制台，并打开数据权限管理-用户菜单。2.打开用户列表信息页面。说明 此处管理的用户为添加到数据湖构建中的用户，目前仅支持添加RAM用户到数据湖...
使用限制
Hive DB Lock manager API 不支持 Hive Db Transaction Manager API 不支持 Hive Constraint：如Primary key/Foreign key 不支持Hive SQL Standards Based Authorization 旧版Hive权限，开源社区已不再发展，建议使用数据湖构建数据权限...
Location托管
Location托管可以将数据湖OSS中的存储数据托管到数据湖构建（DLF）中进行管理和分析，在托管Location后将可以为你提供 存储概览，生命周期管理介绍，数据表-数据概况（如数据访问频次，数据最后更新时间等），以及存储权限（规划中）等数据...
DLF统一元数据
背景信息 阿里云数据湖构建是一款全托管的快速帮助用户构建云上数据湖的服务，产品为云原生数据湖提供了统一的元数据管理、统一的权限与安全管理、便捷的数据入湖能力以及一键式数据探索能力，详细信息请参见 数据湖构建产品简介。...
新增授权
DLF角色：指在数据湖构建（DLF）中定义的角色，关于角色的管理，可以在 数据湖构建控制台 进行配置。2.主体选择：可以选择一个或多个RAM用户/角色或DLF角色。选择授权资源 授权方式：目前仅支持资源授权，资源授权指对数据目录、数据库、...
DataLake SDK for Java 使用参考
欢迎使用阿里云开发者工具套件（Alibaba Cloud SDK for Java），DataLake SDK for Java让您不用复杂编程即可访问数据湖构建。本教程介绍如何安装并开始使用DataLake SDK for Java。前提条件 已 创建AccessKey。已安装Java环境。DataLake ...
Flink VVP+DLF数据入湖与分析实践
已开通阿里云数据湖构建（DLF）服务。如果您没有开通，则可以在 DLF产品首页，单击 立即开通。本文以MySQL数据源为例，需要创建RDS MySQL，详情请参见 创建RDS MySQL实例。如果使用其他数据源入湖可忽略。说明 创建的RDS MySQL需要和实时...
生命周期管理介绍
费用说明 使用生命周期管理功能，涉及两部分费用，如下：数据湖构建（DLF）产品的生命周期管理功能，目前公测中，当前阶段免费。OSS生命周期费用说明，请参考 生命周期费用说明 注意事项 如果数据被转为归档、冷归档的数据将无法被计算引擎...
计费模式
本文介绍数据湖构建中各资源的计费规格，包括入湖作业资源用量、数据存储对象和元数据请求三部分。计量计费项 重要 DLF产品目前所有功能为 0折扣活动阶段，即使超过免费阶梯限定后，目前也均不会产生实际计费。元数据对象的存储量 元数据...
DLF数据探索快速入门-淘宝用户行为分析
DLF产品（数据湖构建）提供数据发现和数据探索的功能，本文介绍如何通过DLF完成对淘宝用户行为样例的分析。操作流程 服务开通：开通阿里云账号及DLF和OSS相关服务。样例数据集下载和导入：下载样例数据（csv文件），并上传至OSS。DLF数据...
湖格式管理
操作步骤 查看优化策略 打开数据湖构建控制台 点击菜单湖管理-湖格式管理 查看优化策略列表，如下图所示 设置优化策略阈值 在优化策略列表页，点击设置阈值，可以为策略设置执行的阈值，满足阈值后，将会自动执行优化策略。禁用优化策略 在...
存储概览
数据湖构建DLF后续还将推出生命周期管理功能，帮助您对湖内数据进行自动归档。目前功能开发中。存储格式分布 统计表的存储格式分布情况。大小文件分布和排名 统计大小文件分布及排名情况，根据业务情况，针对小文件较多的表进行优化，提高...
使用数据探索查询Iceberg表
操作步骤 登录 数据湖构建控制台，在左侧菜单中选择 数据探索。在SQL输入框中，输入查询语句。针对Iceberg表，需要在指定的元数据库和表之前，加上dlf_catalog.前缀。例如：SELECT*FROM dlf_catalog.database_name.iceberg_table limit 100...
典型场景
基于湖构建数据平台，支持BI、挖掘等业务 对象存储OSS可以作为湖存储，DLA基于OSS构建一站式的大数据平台。具体包括构建数据湖、数据ETL、交互式查询、机器学习等功能。构建数据湖 实时数据湖：支持DB的CDC与消息数据（如Kafka）入湖，构建...
权限说明
数据湖构建（DLF）产品的权限体系主要分为RAM权限以及DLF数据权限控制两大类，如果您要访问DLF的页面或数据，一般都需要通过这两层权限校验，才可以正确的访问到数据资源。RAM 权限：主要控制DLF所有OpenAPI的访问权限，决定RAM用户是否...
快速使用TPC-DS测试数据集
操作步骤 登录 数据湖构建控制台，在左侧菜单中选择 数据探索。在左侧点击 创建数据集-开始创建TPC-DS数据集 按钮。点击后，会自动执行一系列初始化SQL：在您的元数据中创建名为sampledata_tpcds_3g的库，并在库中创建24个TPC-DS的数据表。...
数据治理
EMR集群类型 元数据存储类型 数据存储类型：OSS 数据存储类型：OSS-HDFS 数据存储类型：HDFS 新版数据湖集群（DataLake）数据湖构建（DLF）RDS实例 MySQL 自定义集群（Custom）数据湖构建（DLF）RDS实例 MySQL 其他集群-数据保护伞为什么有...
数据权限概述
您可以在数据湖构建-数据权限-用户功能中点击RAM用户查看用户名信息。在使用E-MapReduce引擎时，建议使用 管理用户 添加与RAM用户同名的Linux或LDAP用户。Owner权限的定义 资源Owner拥有对应资源的所有权限。例如元数据库的Owner为RAM用户...
元数据迁移
元数据迁移提供可视化的元数据迁移能力，可以帮您快速的将Hive Metastore的元数据迁移到数据湖构建（DLF）中。前提条件 支持Hive版本：2.3.x 版本。支持元数据库类型：MySQL。创建元数据迁移任务 创建迁移任务 打开 数据湖构建控制台。选择...
元数据抽取
操作步骤 新建抽取任务 登入 数据湖构建控制台。在左侧导航栏，单击 元数据>元数据抽取。在元数据抽取页面，单击 新建抽取任务。输入元数据抽取任务的配置参数，详细参数说明如下：参数配置 字段描述 抽取任务名称 元数据抽取任务的名称，...
DLF-Auth
DLF-Auth组件是数据湖构建DLF（Data Lake Formation）产品提供的，通过该组件可以开启数据湖构建DLF的数据权限功能，可以对数据库、数据表、数据列、函数进行细粒度权限控制，实现数据湖上统一的数据权限管理。本文为您介绍如何开启DLF-...
GetRegionStatus-获取数据湖构建服务开通状态
获取数据湖构建指定地域的服务开通状态。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 当前API暂无授权信息透出。请求语法 GET/webapi/...
数据湖构建服务条款
您对于服务的使用将优先消耗订购的资源包，除法定及双方另行约定外，如资源包中的各项服务使用完毕或者服务期限到期，且您未继续订购资源包服务 但持续使用此项服务的，阿里云将视为您使用阿里云以后付费形式售卖的该服务（如有），阿里云...
Paimon概述
您可以借助Apache Paimon快速地在HDFS或者云端OSS上构建自己的数据湖存储服务，并接入上述计算引擎实现数据湖的分析。目前Apache Paimon提供以下核心能力：基于HDFS或者对象存储构建低成本的轻量级数据湖存储服务。支持在流模式与批模式下...
数据表-数据概况
为您介绍数据表详情中“数据概况”的主要功能。...操作说明 打开数据湖构建控制台 点击菜单：元数据-元数据管理 选中数据表标签页 选择对应的数据库，并输入搜索的表名 点击某一个表，进入表详情页面 切换到数据概况标签页
EMR元数据迁移公告
我们强烈建议您尽快迁移到数据湖构建DLF中，原因如下：本地MySQL是单机部署，无法保证服务高可用，容易造成服务中断。旧版功能的统一元数据，后续将逐步下线，需要迁移到新版统一元数据DLF中。说明 如果您的集群使用自建RDS存储元数据，也...
元数据管理
元数据管理是构建数据湖重要一环，通过有效集中式的元数据管理，可以提升数据资产价值。您可以使用该功能管理元数据库和元数据表。创建元数据库 登录 数据湖管理控制台，选择 元数据 目录下的 元数据管理。单击 新建数据库。配置元数据库...
数据探索Java SDK示例
安装DataLake SDK 您可以在Maven Repository中获取数据湖构建最新的SDK包，获取地址 Maven SDK地址。groupId>com.aliyun</groupId> <artifactId>datalake20200710</artifactId> <version>2.0.12</version> </dependency>参考示例...
- 产品推荐
- 这些文档可能帮助您