变更管控
变更管控功能是指在变更环节（如提交、发布、运维操作等），通过配置...规则配置完成后，支持配置规则及策略生效灵活开关，以调整管控规则及策略配置，实现不同的管控效果，从而减少人工干预成本，也能进一步提升平台建设的规范性和稳定性。
变更管控
变更管控功能是指在变更环节（如提交、发布、运维操作等），通过配置...规则配置完成后，支持配置规则及策略生效灵活开关，以调整管控规则及策略配置，实现不同的管控效果，从而减少人工干预成本，也能进一步提升平台建设的规范性和稳定性。
确定需求
业务调研 充分的业务调研和需求分析是数据仓库建设的基石，直接决定数据仓库能否建设成功。在数仓建设项目启动前，您需要请相关的业务人员介绍具体的业务，以便明确各个团队的分析员、运营人员的需求，沉淀出相关文档。您可以通过调查表、...
准备数据源和计算源
在使用Dataphin前，您需要选择符合业务场景需求的数据库或数据仓库作为数据源，用于读取原始数据和写入数据建设过程中的数据；同时您需要准备MaxCompute项目、Flink项目作为Dataphin的计算源，为数据的研发提供计算资源。准备数据源 ...
准备数据源和计算源
在使用Dataphin前，您需要选择符合业务场景需求的数据库或数据仓库作为数据源，用于读取原始数据和写入数据建设过程中的数据；同时您需要准备MaxCompute项目、Flink项目作为Dataphin的计算源，为数据的研发提供计算资源。准备数据源 ...
数仓构建流程
本文为您介绍如何基于阿里巴巴OneData方法论最佳实践，使用Dataphin助力企业数据中台的建设与管理，快速构建标准、规范的数据仓库。数仓构建流程 下图为使用Dataphin构建数据仓库的基本流程。基本概念 在正式学习本教程之前，您需要了解...
设置Dataphin实例的计算引擎
校验成功后，单击 确认并开始数据建设，即可开始数据建设。后续步骤 完成设置Dataphin实例的计算引擎后，您就可以准备后续数据研发过程中用于读取和写入数据的数据源、用于提供计算资源的计算源。具体操作，请参见 准备数据源和计算源。
概念建模概述
背景信息 在建设数据中台的流程中，一般的首要任务是对整个业务进行前置调研，如先盘点出参与业务的人员、事物和基本规则定义，并理清人、事、物之间的关系和发生的各种交互行为。在全面了解业务的架构和运行情况后，产出业务的概念模型。...
概念建模概述
背景信息 在建设数据中台的流程中，一般的首要任务是对整个业务进行前置调研，如先盘点出参与业务的人员、事物和基本规则定义，并理清人、事、物之间的关系和发生的各种交互行为。在全面了解业务的架构和运行情况后，产出业务的概念模型。...
步骤一：准备工作
进行离线数仓建设前您需完成相关云资源的准备。云资源准备包括阿里云账号资源准备、Dataphin开通与AccessKey配置、MaxCompute计算源的开通与配置、以及数据源的准备。本文将指导您完成本教程的云资源准备工作。步骤一：阿里云账号资源准备 ...
步骤五：开发指标
本文为您介绍如何完成本教程的 最近1天西湖龙井品类订单总金额 派生指标开发。操作步骤 在Dataphin首页，单击顶部菜单栏的 研发。默认进入数据 开发 页面。按照下图操作指引，进入 新建派生指标 配置向导页面。在 新建派生指标 配置向导...
常用命令
本文为您介绍Dataphin支持SQL常用开发命令。类型 属性 是否支持 SET yarn.timeline-service.enabled 是
步骤五：开发指标
本文为您介绍如何完成本教程的 最近1天西湖龙井品类订单总金额 派生指标开发。操作步骤 在Dataphin首页，单击顶部菜单栏的 研发。默认进入数据 开发 页面。按照下图操作指引，进入 新建派生指标 配置向导页面。在 新建派生指标 配置向导...
发布中心概述
在数据权限管控严格的研发流程下，开发者通常会在开发项目内完成任务开发、基础属性和调度属性配置、补数据测试后，提交任务至发布中心，发布成功的任务才能在生产环境生效并调度运行，以实现开发和生产运维的数据隔离，保证资产质量。...
发布中心概述
在数据权限管控严格的研发流程下，开发者通常会在开发项目内完成任务开发、基础属性和调度属性配置、补数据测试后，提交任务至发布中心，发布成功的任务才能在生产环境生效并调度运行，以实现开发和生产运维的数据隔离，保证资产质量。...
步骤四：开发业务限定
本文为您介绍如何基于本教程完成 西湖龙井 业务限定开发。操作步骤 在Dataphin首页，单击顶部菜单栏 研发。默认进入数据 开发 页面。按照下图操作指引，进入 新建业务限定 对话框。在 新建业务限定 对话框，配置参数。参数 描述 基本信息 ...
步骤四：开发业务限定
本文为您介绍如何基于本教程完成 西湖龙井 业务限定开发。操作步骤 在Dataphin首页，单击顶部菜单栏 研发。默认进入数据 开发 页面。按照下图操作指引，进入 新建业务限定 对话框。在 新建业务限定 对话框，配置参数。参数 描述 基本信息 ...
查看历史信息
在Dataphin首页，单击 研发，进入数据 开发 页面。在数据 开发 页面，单击项目名称后的 图标，选择数据开发的项目空间（Dev 或 Basic 项目）。如果您当前访问的是 Dev 或 Basic 项目，且项目空间为您的数据开发空间，则不需要选择项目空间...
日志审计
操作审计（ActionTrail）帮助您监控并记录阿里云账号的活动，包括通过阿里云控制台、开发者工具对云上产品及服务的访问和使用行为。您可以将这些行为事件下载或保存到日志服务SLS或对象存储OSS上，然后进行行为分析、安全分析、资源变更...
操作指南
您可以在Dataphin工作台进行数据开发、数据治理等操作。功能 文档 Dataphin全托管 数仓规划概述 数据引入概述 数据开发概述 发布中心概述 运维中心概述 分析平台概述 标签工厂概述 资产全景及目录概述 数据标准概述 资产质量概述 资源治理...
步骤三：开发原子指标
本文为您介绍如何基于本教程完成 订单总金额 原子指标开发。操作步骤 在Dataphin首页，单击顶部菜单栏 研发。按照下图操作指引，进入 新建原子指标 对话框。在 新建原子指标 对话框，配置参数。配置 基本信息 区域参数。参数 描述 业务实体...
步骤三：开发原子指标
本文为您介绍如何基于本教程完成 订单总金额 原子指标开发。操作步骤 在Dataphin首页，单击顶部菜单栏 研发。按照下图操作指引，进入 新建原子指标 对话框。在 新建原子指标 对话框，配置参数。配置 基本信息 区域参数。参数 描述 业务实体...
查看历史信息
在Dataphin首页，单击 研发，进入数据 开发 页面。在数据 开发 页面，单击项目名称后的 图标，选择数据开发的项目空间（Dev 或 Basic 项目）。如果您当前访问的是 Dev 或 Basic 项目，且项目空间为您的数据开发空间，则不需要选择项目空间...
上传管道脚本
Dataphin支持将已下载的管道脚本上传至系统进行二次开发。本文为您介绍如何上传管道脚本。前提条件 已下载管道脚本，详情请参见 下载管道脚本。背景信息 上传管道脚本，详情请参见 数据集成权限列表。操作步骤 登录 Dataphin控制台。在...
上传管道脚本
Dataphin支持将已下载的管道脚本上传至系统进行二次开发。本文为您介绍如何上传管道脚本。前提条件 已下载管道脚本，详情请参见 下载管道脚本。背景信息 上传管道脚本，详情请参见 数据引入权限列表。操作步骤 登录 Dataphin控制台。在...
任务发布权限列表
本文为您介绍任务发布的操作权限列表。...权限点 项目管理员 项目开发者 项目运维 项目访客 项目分析师 普通成员 查看待发布对象列表 Y Y Y Y Y N 发布待发布对象列表 Y N Y N N N 查看发布列表 Y Y Y Y Y N 重新发布发布列表 Y N Y N N N
验证同步任务
在Dataphin首页，单击 研发。可选：在数据 开发 页面，单击项目名称后的 图标，选择数据开发的项目空间（Dev 或 Basic 项目）。如果您当前访问的是 Dev 或 Basic 项目，且项目空间为您的数据开发空间，则不需要选择项目空间。在数据 开发 ...
任务发布权限列表
本文为您介绍任务发布的操作权限列表。...权限点 项目管理员 项目开发者 项目运维 项目访客 项目分析师 普通成员 查看待发布对象列表 Y Y Y Y Y N 发布待发布对象列表 Y N Y N N N 查看发布列表 Y Y Y Y Y N 重新发布列表 Y N Y N N N
配置限速流程组件
操作步骤 进入离线单条管道脚本的开发页面，请参见 离线管道组件开发入口。按照下图指引，进入 限速组件配置 页面。在 限速组件配置 对话框，配置参数。参数 说明 步骤名称 根据当前组件的使用场景，填写组件名称。速度上限 选择数据传输的...
验证同步任务
在Dataphin首页，单击 研发。可选：在数据 开发 页面，单击项目名称后的 图标，选择数据开发的项目空间（Dev 或 Basic 项目）。如果您当前访问的是 Dev 或 Basic 项目，且项目空间为您的数据开发空间，则不需要选择项目空间。在数据 开发 ...
配置任务基本信息
说明 生产环境中不支持配置开发负责人，将以开发环境所配置信息为准。运维负责人 计算任务的责任人。默认为当前登录用户，您也可以根据实际需求修改责任人。描述 填写计算任务的简单描述。单击 确定。后续步骤 完成任务基础信息配置后，若...
配置任务基本信息
说明 生产环境中不支持配置开发负责人，将以开发环境所配置信息为准。运维负责人 计算任务的责任人。默认为当前登录用户，您也可以根据实际需求修改责任人。描述 填写计算任务的简单描述。单击 确定。后续步骤 完成任务基础信息配置后，若...
标签工厂概述
标签工厂是通过标签创建到服务全链路的构建，为企业数据研发团队以及开发工程师提供一站式标签开发以及服务平台，适合多种场景（如风控、营销），提供离线、实时、服务标签的开发、管理、探索以及服务能力，赋能上层各端业务应用，为企业...
逻辑表运行配置
操作步骤 请参见 数据开发入口，进入数据开发页面。在数据 开发 页面，选择您需配置调度的维度逻辑表，进入调度配置信息页面。下图以维度逻辑表为例。在 调度属性 区域，配置逻辑表 运行配置。参数 描述 运行超时 若单次运行总时长超过设置...
配置限速流程组件
操作步骤 进入离线单条管道脚本的开发页面，请参见 通过离线单条管道配置集成任务。在离线单条管道脚本的开发页面，按照下图操作指引，进入 限速组件配置 页面。在 限速组件配置 对话框，配置参数。参数 说明 步骤名称 根据当前组件的使用...
新建自定义数据源
完成自定义数据源类型后，您可将该类型的数据源接入到Dataphin中，为后续进行集成开发做准备。前提条件 已有自定义数据源类型。具体操作，请参见：新建离线自定义源类型。新建实时自定义源类型。操作步骤 请参见 数据源管理入口，进入 数据...
技术架构选型
MaxCompute作为整个大数据开发过程中的离线计算引擎。Dataphin则基于OneData方法论——OneModel、OneID、OneService，囊括了数据建模研发、运维中心、监控报警、数据资产等在内的一系列功能。icmsDocProps={'productMethod':'created','...
管理回收站的资源对象
您在数据开发页面删除的计算任务、数据表、文件等资源对象，Dataphin会自动为您存储在回收站。您可对回收站的资源对象进行恢复或彻底删除。本文为您介绍如何管理回收站的资源对象。回收站入口 在Dataphin首页，单击顶部菜单栏的 研发。默认...
管理回收站的资源对象
您在数据开发页面删除的计算任务、数据表、文件等资源对象，Dataphin会自动为您存储在回收站。您可对回收站的资源对象进行恢复或彻底删除。本文为您介绍如何管理回收站的资源对象。回收站入口 在Dataphin首页，单击顶部菜单栏的 研发。默认...
配置脚本模式组件
操作步骤 请参见 离线管道组件开发入口，进入离线单条管道脚本的开发页面。在离线单条管道脚本的开发页面，按照下图操作指引，进入脚本模式输出配置对话框。在 脚本模式输出配置 对话框，配置参数。参数 描述 步骤名称 根据当前组件的使用...
- 产品推荐
- 这些文档可能帮助您