定义维度与构建总线矩阵
本教程中，以A电商公司的营销业务板块为例，在交易主题域中，我们重点分析确认收货（交易成功）的业务过程。在确认收货的业务过程中，维度所依赖的业务角度主要有两个，即商品和收货地点（地域）。本教程中，假设收货和购买是同一个地点。...
划分主题域
划分示例 例如，A公司电商营销业务板块可以划分为如下表所示的主题域。主题域中的每一部分，都是根据实际业务过程进行归纳、抽象得出的。主题域 业务过程举例 会员和店铺域 注册、登录、装修、开店、关店 商品域 发布、上架、下架、重发 ...
数据类型
说明 对于部分时区相关的函数，例如 cast(<a timestamp>as string)，要求TIMESTAMP按照与当前时区相符的方式来展现。BOOLEAN True、False BOOLEAN类型。取值范围：True、False。数据类型说明如下：上述的各种数据类型均可以为NULL。SQL中的...
分析业务过程
本教程中，经过业务过程调研，我们了解到A公司电商营销业务的交易订单功能模块的业务过程如下。这是一个非常典型的电商交易业务过程图。在该业务过程中，有 创建订单、买家付款、卖家发货、确认收货 四个核心业务环节。确认收货即表示交易...
变更管控
变更管控功能是指在变更环节（如提交、发布、运维操作等），通过配置...规则配置完成后，支持配置规则及策略生效灵活开关，以调整管控规则及策略配置，实现不同的管控效果，从而减少人工干预成本，也能进一步提升平台建设的规范性和稳定性。
变更管控
变更管控功能是指在变更环节（如提交、发布、运维操作等），通过配置...规则配置完成后，支持配置规则及策略生效灵活开关，以调整管控规则及策略配置，实现不同的管控效果，从而减少人工干预成本，也能进一步提升平台建设的规范性和稳定性。
规范建模概述
Dataphin遵循Ralph Kimball的维度建模理论，使用Dataphin进行规范建模时，您可根据业务实际情况在Dataphin设计并创建概念模型，并通过概念模型中的业务实体（业务对象 或 业务活动）创建对应的维度表、事实表、原子指标、业务限定、指标、...
规范建模概述
Dataphin遵循Ralph Kimball的维度建模理论，使用Dataphin进行规范建模时，您可根据业务实际情况在Dataphin设计并创建概念模型，并通过概念模型中的业务实体（业务对象 或 业务活动）创建对应的维度表、事实表、原子指标、业务限定、指标、...
明确统计指标
在设计模型前，建议先完成该部分工作，以便设计出易于使用的数据仓库。指标定义注意事项 原子指标是明确统计口径和计算逻辑，事实模型或维度模型定义完成，即可创建原子指标。派生指标即常见的统计指标，派生指标=统计周期+业务限定+原子...
维度层（DIM）
本文为您介绍维度层的设计原则、维度表的规范、创建维度及查询维度逻辑表。维度层简介 建立一致数据分析维表，可以降低数据计算口径和算法不统一风险。以维度作为建模驱动，基于每个维度的业务含义，通过定义维度及维度主键，添加维度属性...
设置Dataphin实例的计算引擎
校验成功后，单击 确认并开始数据建设，即可开始数据建设。后续步骤 完成设置Dataphin实例的计算引擎后，您就可以准备后续数据研发过程中用于读取和写入数据的数据源、用于提供计算资源的计算源。具体操作，请参见 准备数据源和计算源。
概念建模概述
背景信息 在建设数据中台的流程中，一般的首要任务是对整个业务进行前置调研，如先盘点出参与业务的人员、事物和基本规则定义，并理清人、事、物之间的关系和发生的各种交互行为。在全面了解业务的架构和运行情况后，产出业务的概念模型。...
概念建模概述
背景信息 在建设数据中台的流程中，一般的首要任务是对整个业务进行前置调研，如先盘点出参与业务的人员、事物和基本规则定义，并理清人、事、物之间的关系和发生的各种交互行为。在全面了解业务的架构和运行情况后，产出业务的概念模型。...
汇总数据层（DWS）
为获取和查询与原始模型一致的结果，聚集的维度和度量必须与原始模型保持一致，因此聚集是不跨越事实的，所以原子指标只能基于一张事实表定义，但是支持原子指标组合为衍生原子指标。聚集会带来查询性能的提升，但聚集也会增加ETL维护的...
资产质量概述
背景信息 面对各行各业日趋强烈的大数据建设、管理及应用的诉求，Dataphin应用场景的多样性及复杂性随之增加。因业务系统的原始数据的规范性无法得以保障，所以Dataphin需要定义数据分析的质量，以满足资产质量的时效性、准确性、完整性、...
资产质量概述
背景信息 面对各行各业日趋强烈的大数据建设、管理及应用的诉求，Dataphin应用场景的多样性及复杂性随之增加。因业务系统的原始数据的规范性无法得以保障，所以Dataphin需要定义数据分析的质量，以满足资产质量的时效性、准确性、完整性、...
实时研发基本流程概述
云资源准备包括阿里云账号资源准备、Dataphin开通与AccessKey配置、Ververica Flink计算源的开通与配置、Quick BI的开通（非必选）以及数据源的准备。步骤一：准备工作 项目和计算源 实时项目是开发实时任务的基本单元，可用于绑定...
实时研发基本流程概述
云资源准备包括阿里云账号资源准备、Dataphin开通与AccessKey配置、Ververica Flink计算源的开通与配置、Quick BI的开通（非必选）以及数据源的准备。步骤一：准备工作 项目和计算源 实时项目是开发实时任务的基本单元，可用于绑定...
创建原子指标
Dataphin创新性地提出了设计即开发的理念，指标定义同时也明确了设计统计口径（即计算逻辑），提升了研发效率，并保证了统计结果的一致性。本文为您介绍如何创建原子指标。操作步骤 在Dataphin首页，单击顶部菜单栏 研发。默认进入数据 ...
创建原子指标
Dataphin创新性地提出了设计即开发的理念，指标定义同时也明确了设计统计口径（即计算逻辑），提升了研发效率，并保证了统计结果的一致性。本文为您介绍如何创建原子指标。操作步骤 在Dataphin首页，单击顶部菜单栏 研发。默认进入数据 ...
元数据仓库共享模型概述
业务租户：统称为 开发租户，进行数据中台建设的租户，即进行数据开发和治理的核心使用租户。一个Dataphin实例可以创建多个开发租户，由元仓租户在租户设置页面创建并分配可用资源（数据处理单元数、质量规则数等）。元仓共享模型数据说明 ...
创建GreenPlum数据源
其架构主要针对管理大规模分析型数据仓库以及商业智能工作负载而设计。更多详情，请参见 GreenPlum官网。使用限制 Dataphin仅支持超级管理员、数据源管理员、板块架构师、项目管理员角色创建数据源。超级管理员、数据源管理员角色添加与...
创建GBase 8a数据源
通过创建GBase 8a数据源能够实现Dataphin读取GBase 8a的业务数据或向GBase 8a写入数据。本文为您介绍如何创建GBase 8a数据源。使用限制 Dataphin仅支持超级管理员、数据源管理员、板块架构师、项目管理员角色创建数据源。超级管理员、数据...
配置GBase 8a输出组件
GBase 8a输出组件用于向GBase 8a数据源写入数据。同步其他数据源的数据至GBase 8a数据源的场景中，完成源数据源的信息配置后，需要配置GBase 8a输出组件写入数据的目标数据源。本文为您介绍如何配置GBase 8a输出组件。前提条件 已创建GBase...
创建GBase 8a数据源
通过创建GBase 8a数据源能够实现Dataphin读取GBase 8a的业务数据或向GBase 8a写入数据。本文为您介绍如何创建GBase 8a数据源。使用限制 Dataphin仅支持超级管理员、数据源管理员、板块架构师、项目管理员角色创建数据源。超级管理员、数据...
配置GBase 8a输出组件
GBase 8a输出组件用于向GBase 8a数据源写入数据。同步其他数据源的数据至GBase 8a数据源的场景中，完成源数据源的信息配置后，需要配置GBase 8a输出组件写入数据的目标数据源。本文为您介绍如何配置GBase 8a输出组件。前提条件 已创建GBase...
自定义血缘配置
例如：输入表1选择table A的a字段，输入表2选择table B的b字段，输出表选择table C的c,d字段，则会生成以下血缘关系：表级血缘：table A->table C;table B->table C。字段级血缘：table A.a->table C.c;table B.b->table C.c;table A.a->...
自定义血缘配置
例如：输入表1选择table A的a字段，输入表2选择table B的b字段，输出表选择table C的c,d字段，则会生成以下血缘关系：表级血缘：table A->table C;table B->table C。字段级血缘：table A.a->table C.c;table B.b->table C.c;table A.a->...
配置DM（达梦）输出组件
数据输出前和输出完成的特殊处理方式，比如为了满足服务的持续可用性，当前步骤写数据执行前先创建目标表Target_A，执行写入到目标表Target_A，当前步骤写数据执行完成后，对数据库中持续提供服务的表Service_B重命名成Temp_C，然后将表...
数据集成支持的数据源
实时集成 适用于将来源端数据源中整库或全部表的数据变化实时集成至目标端数据源中，实现 来源端数据源与目标端数据源 实时地保持数据同步。离线集成支持的数据源 数据源 读取 写入 大数据存储型数据源 MaxCompute 支持 支持 Hive 支持 ...
配置DM（达梦）输出组件
数据输出前和输出完成的特殊处理方式，比如为了满足服务的持续可用性，当前步骤写数据执行前先创建目标表Target_A，执行写入到目标表Target_A，当前步骤写数据执行完成后，对数据库中持续提供服务的表Service_B重命名成Temp_C，然后将表...
新建实时自定义源类型
配置文件详细说明如下：#声明connector的使用类型（源表、目标表、维表）kind:source sink dim#定义connector名称，格式为CUSTOM_([A-Z|0-9]+)connector:CUSTOM_SOCKET#hostname是connector的一个属性，会在DDL的with参数被展示。...
新建实时自定义源类型
配置文件详细说明如下：#声明connector的使用类型（源表、目标表、维表）kind:source sink dim#定义connector名称，格式为CUSTOM_([A-Z|0-9]+)connector:CUSTOM_SOCKET#hostname是connector的一个属性，会在DDL的with参数被展示。...
配置TiDB输出组件
是指数据输出前和输出完成的一些特殊处理方式，比如为了满足服务的持续可用性，当前步骤写数据执行前先创建目标表Target_A，执行写入到目标表Target_A，当前步骤写数据执行完成后，对数据库中持续提供服务的表Service_B重命名成Temp_C，...
配置TiDB输出组件
是指数据输出前和输出完成的一些特殊处理方式，比如为了满足服务的持续可用性，当前步骤写数据执行前先创建目标表Target_A，执行写入到目标表Target_A，当前步骤写数据执行完成后，对数据库中持续提供服务的表Service_B重命名成Temp_C，...
Dataphin PyODPS
在Dataphin上调用PyODPS时，与直接在MaxCompute上调用，命令执行上基本一致。详细说明如下表所示。PyODPS 是否一致 备注 SQL 不一致 在Dataphin中使用PyODPS访问项目内的表时，需要在表名称前加项目或业务板块的信息，详细说明如下：访问...
Dataphin PyODPS
在Dataphin上调用PyODPS时，与直接在MaxCompute上调用，命令执行上基本一致。详细说明如下表所示。PyODPS 是否一致 备注 SQL 不一致 在Dataphin中使用PyODPS访问项目内的表时，需要在表名称前加项目或业务板块的信息，详细说明如下：访问...
配置MongoDB输出组件
选择Dataphin系统已配置的数据源，且数据源需同时具备以下两个条件：数据源的类型与输出组件的类型一致。执行 属性配置 的账号具有该数据源的同步写权限，如果没有权限，则需要申请数据源权限，详情请参见 申请、续期和交还数据源权限。...
配置MongoDB输出组件
选择Dataphin系统已配置的数据源，且数据源需同时具备以下两个条件：数据源的类型与输出组件的类型一致。执行 属性配置 的账号具有该数据源的同步写权限，如果没有权限，则需要申请数据源权限，详情请参见 管理数据源权限。同时您也可以...
配置Log Service输入组件
[{"name":"cf1:a","type":"String"},{"name":"cf1:b","type":"String"}]同时您也可以对已添加的字段执行如下操作：单击 操作 列下的 图标，删除多余的字段。单击 操作 列下的 图标，编辑字段。单击 确认，完成 Log Service 输入组件的属性...
- 产品推荐
- 这些文档可能帮助您