源码部署常见问题
代码拉取失败 构建过程中需要到用户指定的仓库进行拉取，可能会遇到网络抖动、代码包过大等原因导致的拉取代码失败问题。请按照以下顺序排除故障：检查代码仓库能否正常访问，是否更改了可见性权限。检查代码包是否过大、代码总量是否超过...
服务关联角色
通过该服务关联角色，镜像构建服务可以获得 系统运维管理、云服务器ECS、专有网络VPC等的访问权限。更多信息，请参见 管理镜像构建服务关联角色。在您创建供应组时，云服务器ECS会自动创建服务关联角色...
MySQL高可用实践
本文为您说明如何基于阿里云数据库存储服务DBFS来实现MySQL的高可用构建。优势说明 如何保证数据库服务的高可用性，一直是业界讨论的重要课题之一。下面就主要的两种解决方案进行对比说明：对比项 基于DBFS共享存储构建 基于主备同步方式...
数据集成概述
数据集成是基于Dataphin构建的简单高效的数据同步平台，致力于提供具有强大的数据预处理能力、丰富的异构数据源之间数据高速稳定的同步能力。背景信息 面对各行各业对大数据的应用，数据集成会有很多的诉求，包括能够简单高效的配置大量...
角色管理
本文档主要为您说明如何管理数据湖构建中的角色。说明 子账号需要具备admin（数据湖管理员）或 super_administrator（超级管理员）的权限，才可以进行角色相关操作。查看角色信息 1.打开 数据湖构建控制台，并打开数据权限管理-角色菜单。2...
用户管理
本文档主要为您说明如何管理数据湖构建中已添加的用户。查看用户列表 1.打开 数据湖构建控制台，并打开数据权限管理-用户菜单。2.打开用户列表信息页面。说明 此处管理的用户为添加到数据湖构建中的用户，目前仅支持添加RAM用户到数据湖...
服务等级协议
自2021年1月起，数据湖构建（DLF）服务等级协议（SLA）生效。详细内容参考 数据湖构建服务等级协议。
产品简介
阿里云数据湖构建（Data Lake Formation，简称 DLF）是一款全托管的快速帮助用户构建云上数据湖及Lakehouse的服务，为客户提供了统一的元数据管理、统一的权限与安全管理、便捷的数据入湖能力以及一键式数据探索能力。DLF可以帮助用户快速...
HCI超融合
HCI超融合 集成计算虚拟化、网络虚拟化、存储虚拟化等业界前沿技术，帮助客户快速构建简单、稳定、安全、高效的新型IT基础架构。产品优势 HCI超融合 结合了专有云的4S优势（Simple简单、Strong健壮、Scalable弹性、Smart智能）以及阿里云...
使用OpenAPI
本文为您介绍使用数据湖构建OpenAPI的基本信息及注意事项。说明 关于如何使用阿里云OpenAPI，请参见学习文档：使用OpenAPI。基本信息 版本说明 版本号 说明 2020-07-10 推荐 接入点说明 参见 服务接入点。用户身份 用户身份 支持情况 阿里...
使用Helm 3.7及以上版本推送和拉取Chart
OCI镜像仓库是一个存储和管理Chart的地方，可以是本地文件系统、网络服务器或云存储等。在Helm 3.7及以上版本，推送和拉取Chart的概念已经发生了变化，使用OCI制品的方式来推送和拉取Chart。OCI（Open Container Initiative）制品是一种...
产品优势
当您需要构建安全可靠、灵活可控、简单易用以及较强的可扩展性的网络环境时，您可以使用专有网络VPC（Virtual Private Cloud）。本文为您介绍VPC的产品优势，以便您更好的了解VPC。安全可靠 每个VPC都有一个独立的隧道号，一个隧道号对应着...
使用Helm 3.7以下版本推送和拉取Chart
OCI镜像仓库用于存储和管理Chart，可以是本地文件系统、网络服务器或云存储等。在Helm 3.7以下的版本中，推送和拉取Chart的概念与使用Helm-push插件不同。本文介绍使用3.7以下版本的Helm时，如何使用命令推送和拉取Chart。步骤一：配置企业...
配置流入湖任务延迟监控
您可以通过云监控查看数据湖构建（DLF）流任务延迟状况，以及为每一个流任务设置报警规则，帮助您监控流任务运行状态。重要 数据入湖功能已经停止更新，如果您有数据入湖需求请参考：数据入湖停止更新公告。查看流任务监控数据 您可以在...
使用限制
您在使用数据湖构建（Data Lake Formation，简称DLF）控制台和接口时，产品做了如下限制，请在使用时注意不要超过相应的限制值，以免出现异常。数据湖元数据 限制项 用户配额 单表QPS 500 单表分区数量 100万 数据湖入湖预处理作业 限制项 ...
快速入门
数据湖构建（Data Lake Formation，DLF）产品主要使用流程如下。前提条件 注册阿里云账号，并完成 实名认证。创建数据源 创建数据湖的入湖来源，当前支持阿里云RDS MySQL和PolarDB作为数据来源。您需要输入RDS MySQL连接的用户名和密码。...
关系数据库全量入湖
本文为您介绍如何在数据湖构建（Data Lake Formation，简称DLF）中使用关系数据库全量入湖任务将RDS或PolarDB数据批量同步到数据湖中。重要 数据入湖功能已经停止更新，如果您有数据入湖需求请参考：数据入湖停止更新公告。前提条件 已开通...
构建开发环境
您可以根据实际需求决定在本地或者云上构建开发环境，以便开发和调试应用。构建方案简介 EDAS为您提供三种可选方案，下面将介绍这三种方案构建开发环境的特点。构建环境 方案 说明 本地 在本地搭建轻量配置中心实现服务注册和发现，在本地...
数据目录
什么是数据目录（Catalog）数据目录（Catalog）是数据湖构建（Data Lake Formation）的元数据最上层实体，它可以包含多个数据库。适用场景 主要适用于元数据隔离的场景，比如多个E-MapReduce集群，每个集群绑定不同的Catalog，每个EMR集群...
GetRegionStatus-获取数据湖构建服务开通状态
获取数据湖构建指定地域的服务开通状态。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 当前API暂无授权信息透出。请求语法 GET/webapi/...
入湖基础操作
数据湖构建（Data Lake Formation，简称DLF）支持多种入湖任务类型用于快速构建数据湖，通过入湖任务，您可以定义数据入湖的方式和所消耗的资源。本文为您介绍入湖任务的基础操作。重要 数据入湖功能已经停止更新，如果您有数据入湖需求请...
授权信息
本文为您介绍 数据湖构建（DataLake）为RAM权限策略定义的操作（Action）、资源（Resource）和条件（Condition）。数据湖构建（DataLake）的RAM代码（RamCode）为 dlf,dlf-dss，支持的授权粒度为 OPERATION。权限策略通用结构 权限策略支持...
Location托管
Location托管可以将数据湖OSS中的存储数据托管到数据湖构建（DLF）中进行管理和分析，在托管Location后将可以为你提供 存储概览，生命周期管理介绍，数据表-数据概况（如数据访问频次，数据最后更新时间等），以及存储权限（规划中）等数据...
新增授权
DLF角色：指在数据湖构建（DLF）中定义的角色，关于角色的管理，可以在 数据湖构建控制台 进行配置。2.主体选择：可以选择一个或多个RAM用户/角色或DLF角色。选择授权资源 授权方式：目前仅支持资源授权，资源授权指对数据目录、数据库、...
数据湖构建之MaxCompute湖仓一体最佳实践
MaxCompute+DLF湖仓一体方案打破数据湖与数据仓库割裂的体系，架构上将数据湖的灵活性、生态丰富与数据仓库的企业级能力进行融合，构建数据湖和数据仓库融合的数据管理平台。本文介绍湖仓一体的具体方案。背景信息 大数据计算服务...
权限设置
操作步骤 开启权限 打开 数据构建控制台 依次打开菜单：数据权限-权限设置 在数据目录（Catalog）的右侧，如数据目录处于关闭状态，点击“开启”操作，将会提示确认开启弹出框，确认后，完成权限开启。关闭权限 打开 数据构建控制台 依次...
存储概览
数据湖构建DLF后续还将推出生命周期管理功能，帮助您对湖内数据进行自动归档。目前功能开发中。存储格式分布 统计表的存储格式分布情况。大小文件分布和排名 统计大小文件分布及排名情况，根据业务情况，针对小文件较多的表进行优化，提高...
Kafka实时入湖
本文为您介绍如何在数据湖构建（Data Lake Formation，简称DLF）中使用Kafka实时入湖任务将数据同步到数据湖中。重要 数据入湖功能已经停止更新，如果您有数据入湖需求请参考：数据入湖停止更新公告。前提条件 已开通数据湖构建服务，尚未...
湖格式管理
操作步骤 查看优化策略 打开数据湖构建控制台 点击菜单湖管理-湖格式管理 查看优化策略列表，如下图所示 设置优化策略阈值 在优化策略列表页，点击设置阈值，可以为策略设置执行的阈值，满足阈值后，将会自动执行优化策略。禁用优化策略 在...
DLF中数据入湖功能停止更新公告
数据湖构建（DLF）产品的数据入湖功能已于2023年02月15日停止更新，但会持续运维已有数据入湖作业。为了确保您业务连续性，建议您采用其他方式进行数据入湖，推荐使用 数据集成概述 或 Flink CDC：如 MySQL CDC DataStream Connector。停止...
生命周期管理介绍
费用说明 使用生命周期管理功能，涉及两部分费用，如下：数据湖构建（DLF）产品的生命周期管理功能，目前公测中，当前阶段免费。OSS生命周期费用说明，请参考 生命周期费用说明 注意事项 如果数据被转为归档、冷归档的数据将无法被计算引擎...
开源软件迁移
当前大部分应用系统都基于开源软件构建，并且大部分的开源软件在倚天ARM平台上已经提供较好的应用生态，您可以直接使用操作系统提供的开源生态软件来安装部署。本文介绍Nginx、MySQL、Redis、TensorFlow、PyTorch等开源软件如何在倚天...
Flink VVP+DLF数据入湖与分析实践
数据湖构建（DLF）可以结合阿里云实时计算Flink版（Flink VVP），以及Flink CDC相关技术，实现灵活定制化的数据入湖。并利用DLF统一元数据管理、权限管理等能力，实现数据湖多引擎分析、数据湖管理等功能。本文为您介绍Flink+DLF数据湖方案...
元数据管理
元数据管理是构建数据湖重要一环，通过有效集中式的元数据管理，可以提升数据资产价值。您可以使用该功能管理元数据库和元数据表。创建元数据库 登录 数据湖管理控制台，选择 元数据 目录下的 元数据管理。单击 新建数据库。配置元数据库...
定义维度与构建总线矩阵
明确每个数据域下有哪些业务过程后，您需要开始定义维度，并基于维度构建总线矩阵。定义维度 在划分数据域、构建总线矩阵时，需要结合对业务过程的分析定义维度。以本教程中A电商公司的营销业务板块为例，在交易数据域中，我们重点考察确认...
计费模式
本文介绍数据湖构建中各资源的计费规格，包括入湖作业资源用量、数据存储对象和元数据请求三部分。计量计费项 重要 DLF产品目前所有功能为 0折扣活动阶段，即使超过免费阶梯限定后，目前也均不会产生实际计费。元数据对象的存储量 元数据...
构建
云效Nodejs构建，默认通过npm进行依赖下载，npm的使用请参考 官方文档 使用CNPM加速依赖下载 npm安装插件是从国外服务器下载，受网络影响大，可能出现异常，淘宝 NPM 镜像 提供了国内镜像源，可以加速依赖的下载。云效的构建环境默认提供 ...
定义维度与构建总线矩阵
明确每个数据域下有哪些业务过程后，您需要开始定义维度，并基于维度构建总线矩阵。定义维度 在划分数据域、构建总线矩阵时，需要结合对业务过程的分析定义维度。以本教程中A电商公司的营销业务板块为例，在交易数据域中，我们重点考察确认...
构建镜像超时/失败怎么办？
buildImage waiting callback timeout exit code 8 可能原因 buildImage waiting callback timeout 网络不通 带宽不足 VPC内网自建下载服务器 exit code 8 OSS URL签名过期。解决方案 buildImage waiting callback timeout 软件包下载超时/...
AI镜像构建及拉取加速方案
海外源智能加速：构建时会在海外机房构建，构建成功后推送到指定地域。如果您项目的Dockerfile文件需要从国外站点下载文件，但是跨境网络不稳定，您可以使用 海外源智能加速。进入镜像仓库详情页面，在左侧导航栏，单击 构建，在 构建规则...
- 产品推荐
- 这些文档可能帮助您