元数据仓库共享模型概述
元仓共享模型是基于Dataphin内部的系统元数据表，通过任务加工生成的可以被稳定、标准化访问的开放元数据表，可降低对系统元数据表的依赖，提升系统稳定性。基于开放的元数据信息，您可以结合业务场景进行二次开发，以更好地满足对下游业务...
无效映射关系管理
无效映射关系为您展示已生效数据标准和资产对象的映射关系，映射规则执行将会过滤无效映射的资产，也不会基于该映射关系进行落标监控评估，也不会生成落标评估明细，本文为您介绍如何查看、新增和管理无效映射关系。权限说明 超级管理员、...
无效映射关系管理
无效映射关系为您展示已生效数据标准和资产对象的映射关系，映射规则执行将会过滤无效映射的资产，也不会基于该映射关系进行落标监控评估，也不会生成落标评估明细，本文为您介绍如何查看、新增和管理无效映射关系。权限说明 超级管理员、...
逻辑结构说明
当数据的业务含义存在较大差异时，您可以创建不同的数据板块，让各成员独立管理不同的业务，后续数据仓库的建设将按照数据板块进行划分。主题域 数据域即主题域，是对某个主题分析后确定的主题边界。例如，商品域、交易域、会员域等。项目 ...
创建原子指标
为保证建模标准规范，来源表仅支持维度逻辑表或事实逻辑表。统计周期标识 统计周期标识可指定某一个事件（业务过程）的发生时间字段。仅支持流程事实逻辑表（df表）和维度逻辑表，不支持事件事实逻辑表（di表）（也可以理解为默认为ds分区...
创建原子指标
为保证建模标准规范，来源表仅支持维度逻辑表或事实逻辑表。统计周期标识 统计周期标识可指定某一个事件（业务过程）的发生时间字段。仅支持流程事实逻辑表（df表）和维度逻辑表，不支持事件事实逻辑表（di表）（也可以理解为默认为ds分区...
设置Dataphin实例的计算引擎
校验成功后，单击 确认并开始数据建设，即可开始数据建设。后续步骤 完成设置Dataphin实例的计算引擎后，您就可以准备后续数据研发过程中用于读取和写入数据的数据源、用于提供计算资源的计算源。具体操作，请参见 准备数据源和计算源。
概念建模概述
背景信息 在建设数据中台的流程中，一般的首要任务是对整个业务进行前置调研，如先盘点出参与业务的人员、事物和基本规则定义，并理清人、事、物之间的关系和发生的各种交互行为。在全面了解业务的架构和运行情况后，产出业务的概念模型。...
概念建模概述
背景信息 在建设数据中台的流程中，一般的首要任务是对整个业务进行前置调研，如先盘点出参与业务的人员、事物和基本规则定义，并理清人、事、物之间的关系和发生的各种交互行为。在全面了解业务的架构和运行情况后，产出业务的概念模型。...
MaxCompute湖仓一体
基于MaxCompute湖仓一体的外部项目的数据进行规范建模和数据处理 创建MaxCompute计算源并绑定到Dataphin项目中后，规范建模可基于外部项目中的来源表创建逻辑表，MaxCompute SQL任务可用映射的内部项目的计算资源来执行，并支持读写外部...
购买指引-全托管
基础功能和增值功能 智能研发版（离线&实时）基础研发版（离线&实时）敏捷研发版（离线）基础功能 离线数据集成 支持 支持 支持 离线编码研发 支持 支持 支持 实时编码研发 支持 支持 不支持 规范建模 支持 不支持 不支持 资产全景及目录 ...
MaxCompute湖仓一体
基于MaxCompute湖仓一体的外部项目的数据进行规范建模和数据处理 创建MaxCompute计算源并绑定到Dataphin项目中后，规范建模可基于外部项目中的来源表创建逻辑表，MaxCompute SQL任务可用映射的内部项目的计算资源来执行，并支持读写外部...
管理控制台介绍
功能模块包括：规范建模，详情请参见 数仓规划概述。项目管理，详情请参见 创建通用项目。智能运维，详情请参见 运维中心概述。资产目录，详情请参见 资产全景及目录概述。数据服务，详情请参见 数据服务概述。资产质量，详情请参见 资产...
管理控制台介绍
功能模块包括：规范建模，详情请参见 数仓规划概述。项目管理，详情请参见 创建通用项目。智能运维，详情请参见 运维中心概述。资产目录，详情请参见 资产全景及目录概述。数据服务，详情请参见 数据服务概述。资产质量，详情请参见 资产...
新建及管理标准模板
标准模板用于定义创建数据标准时需要填写的属性信息，以便对数据标准进行规范化定义。本文为您介绍如何新建及管理标准模板。权限说明 超级管理员和数据标准管理员可新建及管理标准模板。超级管理员、数据标准管理员及模板维护人员可以编辑...
新建及管理标准模板
标准模板用于定义创建数据标准时需要填写的属性信息，以便对数据标准进行规范化定义。本文为您介绍如何新建及管理标准模板。权限说明 超级管理员和数据标准管理员可新建及管理标准模板。超级管理员、数据标准管理员及模板维护人员可以编辑...
添加Dataphin成员
数据标准管理员：拥有所有数据标准的查看、操作及管理权限。标签业务员：拥有规划模块中标签架构的最高权限，包括资产市场管理、实体管理以及ID管理权限。关于全局角色的更多内容，请参见 用户角色和权限。如果添加的成员后续需要授予项目...
步骤一：准备工作
进行离线数仓建设前您需完成相关云资源的准备。云资源准备包括阿里云账号资源准备、Dataphin开通与AccessKey配置、MaxCompute计算源的开通与配置、以及数据源的准备。本文将指导您完成本教程的云资源准备工作。步骤一：阿里云账号资源准备 ...
步骤一：准备工作
进行离线数仓建设前您需完成相关云资源的准备。云资源准备包括阿里云账号资源准备、Dataphin开通与AccessKey配置、MaxCompute计算源的开通与配置、以及数据源的准备。本文将指导您完成本教程的云资源准备工作。步骤一：阿里云账号资源准备 ...
步骤二：规划数仓
数仓规划是基于Dataphin建设数据中台的第一步，同时也是数据体系的顶层设计中至关重要的一步。在开始数据开发前，需要完成数据仓库的规划，包括定义数据板块、项目、数据源、计算源和统计周期。本文将指导您完成本教程的规划数仓。背景信息...
数据源管理概述
在使用Dataphin前，您可将需要引入Dataphin的数据源接入到Dataphin中，已接入的数据源可用于读取原始数据和写入数据建设过程中的数据。Dataphin具备丰富的数据源类型接入，支持对接如MaxCompute、Hive等数据仓库，也支持对接企业传统数据库...
应用场景
价值：数据建设统一：数据标准规范定义。数据研发提效：自动化代码生成。战略决策高效：数据分析准确，数据需求响应及时。推荐搭配组合：Dataphin+MaxCompute MaxCompute详情请参见 什么是MaxCompute。输出主题式数据服务，提高数据化运营...
数仓构建流程
本文为您介绍如何基于阿里巴巴OneData方法论最佳实践，使用Dataphin助力企业数据中台的建设与管理，快速构建标准、规范的数据仓库。数仓构建流程 下图为使用Dataphin构建数据仓库的基本流程。基本概念 在正式学习本教程之前，您需要了解...
确定需求
是否有公共使用，命名及逻辑相似的统计指标，目前已经重复建设使用，需要通过上述设计规范化？举例：数据分析师需要了解A公司电商业务中最近1天厨具类目的成交金额。当获知这个需求后，您需要分析：根据什么（维度）汇总、汇总什么（原子...
产品概述
产品描述 Dataphin是集产品、技术、方法论于一体的智能大数据平台建设引擎，为您提供数据引入、规范定义、建模研发、资产管理、数据服务等全链路智能数据建设及治理服务。功能 描述 Dataphin全托管 全托管又称公共云多租户模式，只需购买...
什么是Dataphin
数据引入 规范定义 以维度建模作为理论基础，构建总线矩阵，划分并定义数据域、业务活动（业务过程）、业务对象（维度）、原子指标、业务限定、时间周期和派生指标，以保障数据标准化、规范化的产出。规范定义 建模研发 基于规范定义的数据...
数据标准资产详情
本文为您介绍如何查看标准的资产详情。标准详情 请参见 搜索数据，进入标准详情页面。编号 描述 ① 概要信息 为您展示标准的英文名称以及描述信息。收藏：单击即可收藏。收藏后您可以在 目录 首页查看收藏的列表，方便后续查询。② 资产...
数据标准资产详情
本文为您介绍如何查看标准的资产详情。标准详情 请参见 搜索数据，进入标准详情页面。编号 描述 ① 概要信息 为您展示标准的英文名称以及描述信息。收藏：单击即可收藏。收藏后您可以在 目录 首页查看收藏的列表，方便后续查询。② 资产...
编码规范
本文为您介绍智能引擎下编码规范支持的配置项以及各项配置说明。操作步骤 在Dataphin首页，单击顶部菜单栏的 管理中心。按照下图指引，进入 编码规范 页签，设置编码规范相关配置。配置项 描述 禁止即席查询中使用“select*”语法查询汇总...
配置网络
为了实现应用与数据服务之间的网络互通，在您开始调用API或Dataphin数据源前需要配置网络。本文为您介绍如何查看域名。查看域名 您可以关闭已开通的域名。您可以打开或关闭域名显示开关（图标），可以管控非超级管理员查看域名的权限。请...
编码规范
本文为您介绍智能引擎下编码规范支持的配置项以及各项配置说明。操作步骤 在Dataphin首页，单击顶部菜单栏的 管理中心。按照下图指引，进入 编码规范 页签，设置编码规范相关配置。配置项 描述 禁止即席查询中使用“select*”语法查询汇总...
验证同步任务
本文为您介绍如何验证同步任务的运行结果。前提条件 如果您创建的同步任务的调度类型为 手动任务，...如果不复合规范，则单击 格式化，系统自动调整您编写的SQL语句，使得其符合规范。规范校验通过后，单击 执行，查看同步任务的运行结果。
验证同步任务
本文为您介绍如何验证同步任务的运行结果。前提条件 如果您创建的同步任务的调度类型为 手动任务，...如果不复合规范，则单击 格式化，系统自动调整您编写的SQL语句，使得其符合规范。规范校验通过后，单击 执行，查看同步任务的运行结果。
映射关系概述
映射关系是指资产对象和数据标准之间的映射关系，仅针对已确认映射关系的资产对象进行落标监控评估。映射关系说明 映射关系分为 有效映射 和 无效映射。有效映射关系是基于配置的落标映射规则、手动添加或在研发过程中指定关联生成的数据...
治理项管理流程
Dataphin支持通过自定义扩展治理项规则的方式，助您构建企业内部的治理规范，并支持将治理规范纳入到数据资产管理体系中。治理项的管理流程如下：元数据管理：配置和管理数据治理所需要的元数据指标。治理项管理：基于元数据指标，配置和...
映射关系概述
映射关系是指资产对象和数据标准之间的映射关系，仅针对已确认映射关系的资产对象进行落标监控评估。映射关系说明 映射关系分为 有效映射 和 无效映射。有效映射关系是基于配置的落标映射规则、手动添加或在研发过程中指定关联生成的数据...
治理项管理流程
Dataphin支持通过自定义扩展治理项规则的方式，助您构建企业内部的治理规范，并支持将治理规范纳入到数据资产管理体系中。治理项的管理流程如下：元数据管理：配置和管理数据治理所需要的元数据指标。治理项管理：基于元数据指标，配置和...
沙箱执行
在公共云SaaS下，Dataphin支持了沙箱...安全沙箱提供以下能力：限制网络请求：禁止用户任务请求敏感服务，如Dataphin内部服务等。限制文件读取：禁止用户任务读写敏感文件，如/etc/hosts等文件等。限制系统命令：禁止如创建用户等敏感命令。
落标监控概述
数据标准和资产对象的映射关联通过落标映射规则来定义，对象是否遵循了映射到的标准通过落标监控来判断。本文为您介绍落标监控的基本概念和监控逻辑。背景信息 标准创建完成后，需要指定其关联的资产对象才能被应用。Dataphin通过定义标准...
实践教程
针对各种业务需求，Dataphin提供相关实践教程，您可根据不同场景查看最佳实践教程进行参考。Dataphin 面向零售店铺的模型构建与管理 自定义RDBMS数据库及同步数据 DataX同步数据 使用Python读文件 Java UDF最佳实践 规范定义最佳实践
- 产品推荐
- 这些文档可能帮助您