文档更新动态（2022年）
更新说明 购买指引 2022年07月19日 维度、业务过程、数据域升级 业务板块升级为数据板块，数据域升级为主题域。维度更名为业务对象，业务过程更名为业务活动，并增加三种子类型：事件、业务流程和业务快照。更新说明 创建并管理业务实体 ...
Dataphin中如何设置业务板块的管理员
概述 本文为您介绍Dataphin中如何设置业务板块的管理员。详细信息 在规划，业务板块，编辑业务板块中可以设置一个业务板块的管理员。适用于 Dataphin，通用功能各版本均适用
Dataphin中业务板块、数据域和项目之间的关系
产品名称 Dataphin 产品模块 数据域 概述 本文描述Dataphin业务板块、数据域和项目之间的关系。问题描述 Dataphin业务板块、数据域和项目之间的关系是什么？问题原因 NA 解决方案 业务板块是逻辑空间的重要组成部分，是基于业务特征划分的...
Dataphin删除业务板块失败报错："BIZ_UNIT_DEPENDCY
问题描述 Dataphin中删除业务板块报错："BIZ_UNIT_DEPENDCY。问题原因 业务板块存在依赖导致无法删除。解决方案 删除业务板块关联绑定的项目即可。适用于 Dataphin
确定需求
用户的整体业务架构，各个业务板块之间的联系和信息流动的流程。您需要梳理出整体的业务数据框架。各个已有的业务板块的主要功能及获取的数据。本教程中以A公司的电商业务为例，梳理出业务数据框架如下图所示。A公司的电商业务板块分为招商...
确定需求
用户的整体业务架构，各个业务板块之间的联系和信息流动的流程。您需要梳理出整体的业务数据框架。各个已有的业务板块的主要功能及获取的数据。本教程中以A公司的电商业务为例，梳理出业务数据框架如下图所示。A公司的电商业务板块分为招商...
Dataphin PyODPS
例如，Dataphin中有业务板块LD_BizUnitA，则Dataphin自动生成业务板块变量${LD_BizUnit A}。业务板块LD_BizUnitA内有一张逻辑表DimTableA。您可以使用${LD_BizUnitA}.DimTableA 来引用这张表，该变量在开发环境执行时默认被替换为 LD_...
Dataphin PyODPS
例如，Dataphin中有业务板块LD_BizUnitA，则Dataphin自动生成业务板块变量${LD_BizUnit A}。业务板块LD_BizUnitA内有一张逻辑表DimTableA。您可以使用${LD_BizUnitA}.DimTableA 来引用这张表，该变量在开发环境执行时默认被替换为 LD_...
资产全景
资产全景介绍 资产全景页面仅为您展示生产环境中的元数据及加工所得的应用数据，包括以下三种模式：全局模式：以星球形式为您展示存储数据量大于0的业务板块及其概要信息。流动模式：展示数据的流入、整合与输出过程，更直观的体现数据加工...
资产全景
资产全景介绍 资产全景页面仅为您展示生产环境中的元数据及加工所得的应用数据，包括以下三种模式：全局模式：以星球形式为您展示存储数据量大于0的业务板块及其概要信息。流动模式：展示数据的流入、整合与输出过程，更直观的体现数据加工...
管理动态脱敏白名单
选中 自定义 后，请输入正则表达式匹配业务板块，例如：您需要匹配所有名称中带有test的业务板块，则正则表达式定义为.*test.*。表项目：选择数据表的项目。选中 全部，即选中所有的项目。选中 枚举 后，需配置项目，支持多选。选中 自定义...
定义维度与构建总线矩阵
本教程中，以A电商公司的营销业务板块为例，在交易主题域中，我们重点分析确认收货（交易成功）的业务过程。在确认收货的业务过程中，维度所依赖的业务角度主要有两个，即商品和收货地点（地域）。本教程中，假设收货和购买是同一个地点。...
管理动态脱敏白名单
选中 自定义 后，请输入正则表达式匹配业务板块，例如：您需要匹配所有名称中带有test的业务板块，则正则表达式定义为.*test.*。表项目：选择数据表的项目。选中 全部，即选中所有的项目。选中 枚举 后，需配置项目，支持多选。选中 自定义...
逻辑结构说明
业务模型层按照不同的业务形态，划分出业务板块，一种业务形态对应一个业务板块。同一种业务形态（业务板块）内，根据实际业务情况，将业务实体（维度和业务过程）划分到不同的数据域。基于维度和业务过程创建明细逻辑表（包括维度逻辑表和...
数据开发
如果您的开发模式为Dev-Prod，并且通过即席查询编写任务，则变量引用的格式包括以下两种情况：如果引用Prod项目中的表，则变量的引用格式为：${Prod业务板块英文名}.逻辑表 或${Prod项目英文名}.物理表。如果引用Dev项目中的表，则变量的...
治理分析
业务板块 项目归属的 业务板块。管理员 项目的 管理员。存储量 项目内所有数据表所消耗的存储资源。存储治理率 以右上角的报告日期为基础，按照最近7天内识别到治理项数量中，已完成治理项数占治理项总数的百分比。待治理项 项目中需要治理...
治理分析
业务板块 项目归属的 业务板块。管理员 项目的 管理员。存储量 项目内所有数据表所消耗的存储资源。存储治理率 以右上角的报告日期为基础，按照最近7天内识别到治理项数量中，已完成治理项数占治理项总数的百分比。待治理项 项目中需要治理...
确定需求
A公司的电商业务板块分为招商、供应链、营销、服务四个板块，每个板块的需求和数据应用都不同。在您构建数仓之前，需要明确构建数仓服务的业务板块类型、每个板块具体满足什么业务需求。此外，您还需要进一步了解各业务板块中已有的业务...
使用限制
例如，您拥有业务板块LD_Trade，则系统自动生成业务板块变量${LD_Trade}。该变量在开发环境执行时默认被替换为LD_Trade_dev，在生产环境执行时默认被替换为LD_Trade。您也可以在执行时设置固定的值，提高代码在不同环境执行时的灵活性。
治理效果
项目治理明细 项目治理明细 模块默认以项目和业务板块为维度，为您展示所有项目下的 项目名称、业务板块、负责人、计算量、计算分、计算优化量、存储量、存储分、存储优化量 信息。参数 描述 项目名称 项目的名称。业务板块 项目所属 业务...
治理效果
项目治理明细 项目治理明细 模块默认以项目和业务板块为维度，为您展示所有项目下的 项目名称、业务板块、负责人、计算量、计算分、计算优化量、存储量、存储分、存储优化量 信息。参数 描述 项目名称 项目的名称。业务板块 项目所属 业务...
划分数据域
例如A公司电商营销业务板块可以划分为如下数据域，数据域中每一部分都是实际业务过程经过归纳抽象之后得出的。数据域 业务过程 会员店铺域 注册、登录、装修、开店、关店 商品域 发布、上架、下架、重发 日志域 曝光、浏览、单击 交易域 下...
Dataphin新建治理项展示字段含义
物理表的创建时间距今的天数 owner_id string 负责人ID 物理表在dataphin资产目录中对应的负责人ID biz_unit_desc string 业务板块描述 对应业务板块描述（无用，可忽略）pangu_file_size_delta Integer 存储大小增量 物理表的存储量新增...
划分数据域
例如A公司电商营销业务板块可以划分为如下数据域，数据域中每一部分都是实际业务过程经过归纳抽象之后得出的。数据域 业务过程 会员店铺域 注册、登录、装修、开店、关店 商品域 发布、上架、下架、重发 日志域 曝光、浏览、点击 交易域 下...
划分主题域
主题域，可以按照用户企业的部门划分，也可以按照业务过程或者业务板块中的功能模块划分。划分示例 例如，A公司电商营销业务板块可以划分为如下表所示的主题域。主题域中的每一部分，都是根据实际业务过程进行归纳、抽象得出的。主题域 ...
公共维度汇总层（DIM）
公共维度汇总层（DIM）维表规范 公共维度汇总层（DIM）维表命名规范：dim_{业务板块名称/pub}_{维度定义}[_{自定义命名标签}]，pub是与具体业务板块无关或各个业务板块都可公用的维度。例如，时间维度，举例如下：公共区域维表 dim_pub_...
公共维度汇总层（DIM）
公共维度汇总层（DIM）维表规范 公共维度汇总层（DIM）维表命名规范：dim_{业务板块名称/pub}_{维度定义}[_{自定义命名标签}]，pub是与具体业务板块无关或各个业务板块都可公用的维度。例如，时间维度，举例如下：公共区域维表 dim_pub_...
QueryPublicModelEngine
可取值如下：普通维度 枚举维度 事务事实 businessProcessUuid String bp-123456 业务过程UUID businessUnitUuid String bu-123456 业务板块UUID dataWarehouseLayerUuid String ly-123456 数仓层UUID businessCategoryUuid String bc-...
案例介绍
本案例以某公司的零售事业群为例，为您介绍在构建数据中台时，如何规划业务模型中的业务板块、项目、数据域和指标等，帮助您更好的理解Dataphin的核心概念。案例场景简介 某公司是一家横跨多个行业领域的大型企业，以零售商超起家，逐步...
核心概念
本文为您介绍Dataphin中，业务板块、数据域、项目、维度、业务过程、维度逻辑表、事实逻辑表、原子指标等基本概念。数据板块 数据板块是逻辑空间的重要组成部分，是基于业务特征划分的命名空间。当数据的业务含义存在较大差异时，您可以...
创建标签项目
说明 若数据板块为Dev-Prod模式，归属Prod业务板块的Basic项目中不可以构建规范建模对象，仅可以构建基础层、应用层数据，以免公共层数据标准规范性受影响、数据生产异常。基本信息 项目英文名 填写项目的英文名。命名规则如下：包含字母、...
Hadoop集群迁移至DataLake集群
步骤三：新旧集群并行双跑校验 在进行集群迁移时，为了最大限度地减少对线上业务的潜在影响，实施集群迁移时通常需要进行新旧集群间的双跑校验。这一过程涉及将线上流量复制至新集群，并同时在新集群上执行作业任务，通过这种方式对数据的...
HLS（M3U8）标准加密改写
}/*校验业务信息的有效性，业务方可自行实现*@param infos*@return*/public boolean validateInfo(String.infos){/TODO 校验信息的有效性，例如UID是否有效等 return true;}/*AES加密生成Token*@param encryptStr 要加密的字符串*@param ...
编辑用例
编辑步骤：检查点-校验业务截图相似度 在当前步骤前插入已有用例，请输入用例编号：支持在此步骤前插入一条已有用例的 ID，回放时会在此步骤前执行前一条用例操作。步骤注释功能：支持修改步骤名称。只有检测（失败）才执行后（）个步骤：...
Dataphin中如何对表中字段进行校验、质量核查
逻辑汇总表是归属在业务板块中，在给逻辑汇总表创建规则时，不要选择所属项目。Dataphin专有云如果没有该功能，可以联系阿里人员进行定制。质量规则存在。1.在首页>资产>质量>数据表规则>创建质量规则创建数据表字段质量校验规则。2.设置...
新建及管理质量规则模板
支持多个字段之间的业务逻辑的校验。如总销售额=单价*销售数量，校验总销售额是否出错可以用${total_sales}=${unit_price}*{sales_volume}。表达式中的${total_sales} 等变量需要指定实际的表字段，并在执行时会被替换为实际的表字段。两表...
新建及管理质量规则模板
支持多个字段之间的业务逻辑的校验。如总销售额=单价*销售数量，校验总销售额是否出错可以用${total_sales}=${unit_price}*{sales_volume}。表达式中的${total_sales} 等变量需要指定实际的表字段，并在执行时会被替换为实际的表字段。两表...
查看Dataphin数据表校验记录
数据板块 数据表所属的业务板块。所属项目 数据表所属的项目。操作 单击 图标或表名，可进入查看校验详情页面，详情请参见 Dataphin数据表校验记录详情。单击 图标，可进入查看质量报告页面。在执行中的校验对象，您可单击停止 图标，终止...
查看Dataphin数据表校验记录
数据板块 数据表所属的业务板块。所属项目 数据表所属的项目。操作 单击 图标或表名，可进入查看校验详情页面，详情请参见 Dataphin数据表校验记录详情。单击 图标，可进入查看质量报告页面。在执行中的校验对象，您可单击停止 图标，终止...
查看指标校验记录
数据板块 指标所属的业务板块。所属项目 指标所属的项目。操作 单击 图标或表名，可进入查看校验详情页面，详情请参见 指标校验记录详情。单击 图标，可进入查看质量报告页面。在执行中的校验对象，您可单击停止 图标，终止质量规则校验...
- 产品推荐
- 这些文档可能帮助您