什么是Dataphin
规范定义 建模研发 基于规范定义的数据元素，进行设计与构建可视化的数据模型。数据模型提交发布后，Dataphin自动化地生成代码与调度任务，大大提升了数据研发效率。规范建模 编码研发 基于通用的代码编辑页面，灵活地进行个性化的数据编码...
常见问题
数据湖构建与OSS有什么区别？什么情况下我需要使用数据湖构建？如何申请数据湖构建产品的公测资格？请使用阿里云 主账号 进行公测资格申请（请如实填写公司信息），审批通过后即可访问数据湖构建的控制台。注意，子账号无法申请产品公测...
产品简介
DLF可以帮助用户快速完成云原生数据湖及Lakehouse方案的构建与管理，并可无缝对接多种计算引擎，打破数据孤岛，洞察业务价值。产品定价 数据湖构建的数据入湖、数据探索、权限管理、湖管理功能均为公测 免费阶段，无计费。元数据管理功能...
构建配置
如果需要，您可以在租户级别进行构建配置，平台支持自定义产物存储 OSS（用于存储构建包）、设置 Maven 仓库、设置镜像中心、上传构建依赖文件。...如果不设置 部署仓库地址，则默认与 构建仓库地址 相同，在镜像仓库列表中显示-。
基于Delta lake的一站式数据湖构建与分析实战
数据湖构建与管理 1.数据入湖 企业的原始数据存在于多种数据库或存储系统，如关系数据库MySQL、日志系统SLS、NoSQL存储HBase、消息数据库Kafka等。其中大部分的在线存储都面向在线事务型业务，并不适合在线分析的场景，所以需要将数据以无...
使用流水线构建和上传容器镜像时提示“no such file ...
问题描述 使用流水线进行容器镜像构建与上传失败提示“no such file or directory”，即进行Dockerfile中的COPY操作时找不到对应的文件。问题原因 出现该问题的可能原因有以下2种：在云效控制台的流水线页面中，构建和制作镜像上传不在同...
离线实时一体化数仓
以下为您系列讲解阿里云离线实时一体化数仓的能力，帮助您设计构建离线实时一体化数仓。课程视频列表 课程简介 课程内容：离线实时一体化概要介绍。主要产品：MaxCompute、Hologres、Flink、DataHub 课程时长：8分钟 课程内容：离线实时...
分析服务一体化数仓
以下为您系列讲解阿里云服务分析一体化数仓的能力，帮助您设计构建分析服务一体化数仓。分析服务一体化需求分析 课程内容：分析服务一体化概要介绍，从分析服务一体化的需求来源为切入点，为您介绍分析服务一体化可应对的需求场景。主要...
分析服务一体化数仓
以下为您系列讲解阿里云服务分析一体化数仓的能力，帮助您设计构建分析服务一体化数仓。课程视频列表 课程简介 课程内容：分析服务一体化概要介绍，从分析服务一体化的需求来源为切入点，为您介绍分析服务一体化可应对的需求场景。主要产品...
将已有的函数计算工程通过应用中心实现持续部署
步骤一：整理构建命令并确认构建工具版本 整理构建命令 应用中心提供了构建函数所需要的执行环境，但是并没有实现自适应的构建与打包能力。和在本地执行一样，用户在云上执行同样的构建与打包命令即可，其中Windows环境与云上Linux环境不...
将已有的函数计算工程通过应用中心部署实现持续部署
步骤一：整理构建命令并确认构建工具版本 整理构建命令 应用中心提供了构建函数所需要的执行环境，但是并没有实现自适应的构建与打包能力。和在本地执行一样，用户在云上执行同样的构建与打包命令即可，其中Windows环境与云上Linux环境不...
实例级别事件
函数实例的生命周期 函数实例会根据函数当前的请求调用量动态地按需构建与销毁，每个函数实例的生命周期包括 实例构建（Creating）、请求调用（Invoke）和 实例销毁（Destroy）阶段，如下图所示。实例构建（Creating）实例构建，是指 函数...
实例级别事件
函数实例的生命周期 函数实例会根据函数当前的请求调用量动态地按需构建与销毁，每个函数实例的生命周期包括 实例构建（Creating）、实例运行（Running）和 实例销毁（Destroying）阶段，如下图所示。实例构建（Creating）实例构建，是指...
图像内容风控解决方案
使用限制 由于OSS不能跨地域访问数据，因此存储数据的OSS Bucket与构建模型的Designer工作流必须在同一地域。操作流程 基于阿里云 PAI 平台，构建图像内容风控解决方案的流程如下：准备数据 首先将原始图片数据存储在OSS，然后利用PAI数据...
LangStudio【内测中】
LangStudio是PAI平台上的大模型应用开发平台，集成了丰富的大模型应用开发组件及场景化模板，为广大开发者提供高效...构建/部署记录 单击应用编辑界面的 构建/部署记录，可以在 构建记录 和 部署记录 页签中查看或管理历史构建与部署的任务。
DLF统一元数据
您可以快速完成云原生数据湖方案的构建与管理，并可无缝对接多种计算引擎，打破数据孤岛，洞察业务价值。前提条件 已在 数据湖构建（Data Lake Formation）控制台 开通数据湖构建。使用限制 DLF统一元数据适配EMR的Hive 2.x、Hive 3.x、...
CreateImagePipeline-创建镜像构建模板
473469C7-AA6F-4DC5-B3DB-A3DC0DE3C83E 示例 正常返回示例 JSON 格式 {"ImagePipelineId":"ip-2ze5tsl5bp6nf2b3*","RequestId":"473469C7-AA6F-4DC5-B3DB-A3DC0DE3C83E"} 错误码 HTTP status code 错误码 错误信息 描述 400 ...
创建镜像模板并执行构建任务
最终完整的镜像名称由系统自动拼接名称前缀与构建任务ID（ExecutionId），格式为 自定义名称前缀_构建任务ID。当前地域 系统展示ECS控制台当前所在地域。目标地域 如果需要将构建的镜像复制到多个地域，您可以设置目标地域，构建的镜像将会...
弹性优化之自定义镜像
必填 重要 为节点池配置自定义镜像前，请确认节点池的相关配置（集群版本、容器运行时、GPU版本适配机型）与构建自定义镜像时的相关配置一致，否则会导致节点无法加入集群。自定义镜像验证阶段使用和所选参数匹配的普通节点池验证即可，...
概述
数据湖构建可以帮助用户快速构建云上数据湖，采用统一的管理视角治理数据湖。本产品目前处于公测阶段，您可以随时开通使用，目前数据湖构建所有功能均为免费使用阶段。用户使用流程 数据湖构建将帮助您快速简洁抽取源数据到统一数据湖的...
下载构建产物
应用构建或发布成功后，您可以在流水线中下载构建产物。前提条件 已运行构建流水线。具体操作请参见 运行流水线。下载最新构建产物 登录 EMAS管理控制台。查找您的项目，单击项目，进入EMAS 概览 页。在顶部导航栏，选择 研发工具。在 研发...
角色管理
本文档主要为您说明如何管理数据湖构建中的角色。说明 子账号需要具备admin（数据湖管理员）或 super_administrator（超级管理员）的权限，才可以进行角色相关操作。查看角色信息 1.打开 数据湖构建控制台，并打开数据权限管理-角色菜单。2...
用户管理
本文档主要为您说明如何管理数据湖构建中已添加的用户。查看用户列表 1.打开 数据湖构建控制台，并打开数据权限管理-用户菜单。2.打开用户列表信息页面。说明 此处管理的用户为添加到数据湖构建中的用户，目前仅支持添加RAM用户到数据湖...
服务等级协议
自2021年1月起，数据湖构建（DLF）服务等级协议（SLA）生效。详细内容参考 数据湖构建服务等级协议。
MaxCompute湖仓一体
MaxCompute湖仓一体方案通过数据仓库MaxCompute和数据湖共同实现，将数据湖的灵活性、生态丰富能力与数据仓库的企业级部署能力进行融合，助力于构建数据湖和数据仓库相融合的数据管理平台。本文为您介绍如何通过Dataphin管理MaxCompute和...
基础开发
本文介绍 Serverless 应用引擎 SAE（Serverless App Engine）源码部署的工作原理、环境配置、构建流程、源代码导入等信息。整体工作原理 作为 Serverless 应用引擎 SAE（Serverless App Engine）中，降低用户运维负担的重要一环，源码部署...
MaxCompute湖仓一体
MaxCompute湖仓一体方案通过数据仓库MaxCompute和数据湖共同实现，将数据湖的灵活性、生态丰富能力与数据仓库的企业级部署能力进行融合，助力于构建数据湖和数据仓库相融合的数据管理平台。本文为您介绍如何通过Dataphin管理MaxCompute和...
使用OpenAPI
本文为您介绍使用数据湖构建OpenAPI的基本信息及注意事项。说明 关于如何使用阿里云OpenAPI，请参见学习文档：使用OpenAPI。基本信息 版本说明 版本号 说明 2020-07-10 推荐 接入点说明 参见 服务接入点。用户身份 用户身份 支持情况 阿里...
配置代码源触发
云构建会将push的目标分支与触发分支进行匹配，如果匹配成功，则会触发流水线，并使用push的目标分支作为流水线运行的触发条件。操作说明 打开流水线编辑界面，具体操作参见 打开流水线编辑界面。在流水线编辑界面，单击 触发条件 阶段>...
MaxCompute湖仓一体概述
MaxCompute提供湖仓一体方案，该方案可以打破数据湖与数据仓库割裂的体系，并将数据湖的灵活性、生态丰富能力与数据仓库的企业级部署能力进行融合，助力构建数据湖和数据仓库相融合的数据管理平台。本文介绍如何通过MaxCompute和异构数据...
配置流入湖任务延迟监控
您可以通过云监控查看数据湖构建（DLF）流任务延迟状况，以及为每一个流任务设置报警规则，帮助您监控流任务运行状态。重要 数据入湖功能已经停止更新，如果您有数据入湖需求请参考：数据入湖停止更新公告。查看流任务监控数据 您可以在...
搭建与管理（基于Hadoop）
通过MaxCompute与Hadoop构建湖仓一体方案旨在实现对海量数据的统一管理、存储和分析，提供了一个既能处理结构化、半结构化数据，又能满足高并发分析需求的一体化数据平台。本文为您介绍如何通过MaxCompute与Hadoop构建湖仓一体，以及管理湖...
快速入门
数据湖构建（Data Lake Formation，DLF）产品主要使用流程如下。前提条件 注册阿里云账号，并完成 实名认证。创建数据源 创建数据湖的入湖来源，当前支持阿里云RDS MySQL和PolarDB作为数据来源。您需要输入RDS MySQL连接的用户名和密码。...
用ACS实例运行镜像构建任务
在日常容器使用场景中，可能会遇到需要在ACS集群中构建镜像的诉求。...nas-pvc 通过日志buildah日志我们可以看到，用于构建的Pod并没有重新拉取alinux3镜像，而是复用了NAS实例中的缓存来构建镜像，节省了镜像下载的构建时间与开销。
公开分享容器镜像
构建设置 当代码源选择为Codeup、云Code、GitHub、Bitbucket、私有GitLab时，您需要配置构建设置：代码变更时自动构建镜像：当分支有代码提交后会自动触发构建规则。海外机器构建：构建时会在海外机房构建，构建成功后推送到指定地域。不...
创建交付链
通过容器镜像服务的云原生应用交付链功能，您可以自由组合镜像构建、镜像扫描、镜像全球同步和镜像分发等任务，提供全链路可观测、可追踪、安全防护能力。本文介绍如何创建交付链，从而实现一次提交，全球分发、扫描和部署。前提条件 创建...
GetRegionStatus-获取数据湖构建服务开通状态
获取数据湖构建指定地域的服务开通状态。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 当前API暂无授权信息透出。请求语法 GET/webapi/...
应用场景
Lindorm支持宽表模型、时序模型，提供自研的宽表引擎、时序引擎和搜索引擎，兼容HBase、Phoenix、OpenTSDB、Solr等多种开源标准接口，提供SQL查询、时序处理、检索分析等能力，满足结构化、半结构化的存储和分析需求，同时支持在线业务和离...
Location托管
Location托管可以将数据湖OSS中的存储数据托管到数据湖构建（DLF）中进行管理和分析，在托管Location后将可以为你提供 存储概览，生命周期管理介绍，数据表-数据概况（如数据访问频次，数据最后更新时间等），以及存储权限（规划中）等数据...
搭建与管理（基于DLF和OSS）
通过MaxCompute与DLF和OSS的组合，可以实现数据仓库和数据湖的一体化，提供更加灵活和高效的数据处理能力。本文为您介绍如何通过MaxCompute、DLF和OSS构建湖仓一体，以及湖仓一体项目的管理。前提条件 当您通过MaxCompute与DLF和OSS构建湖...
- 产品推荐
- 这些文档可能帮助您