计算引擎类型 选择设置 计算引擎设置需要提前采购计算引擎MaxCompute资源,系统以此来支持相关数据的建设工作。需要选择计算引擎类型(目前仅开放MaxCompute计算类型),配置计算引擎所在的集群,例如Endpoint等信息。系统以此来支持该计算...
背景信息 在建设数据中台的流程中,一般的首要任务是对整个业务进行前置调研,如先盘点出参与业务的人员、事物和基本规则定义,并理清人、事、物之间的关系和发生的各种交互行为。在全面了解业务的架构和运行情况后,产出业务的概念模型。...
背景信息 某公司的订单系统使用MySQL作为存储数据库,其中的oms_order为存储订单的表。现在要开始设计一个营销活动,在活动期间需要实时地统计每个产品类型的销售数量,用于快速地支持活动方案调整。以下为数据流向的示意图:订单系统MySQL...
背景信息 某公司的订单系统使用MySQL作为存储数据库,其中的oms_order为存储订单的表。现在要开始设计一个营销活动,在活动期间需要实时地统计每个产品类型的销售数量,用于快速地支持活动方案调整。以下为数据流向的示意图:订单系统MySQL...
背景信息 面对各行各业日趋强烈的大数据建设、管理及应用的诉求,Dataphin应用场景的多样性及复杂性随之增加。因业务系统的原始数据的规范性无法得以保障,所以Dataphin需要定义数据分析的质量,以满足资产质量的时效性、准确性、完整性、...
背景信息 面对各行各业日趋强烈的大数据建设、管理及应用的诉求,Dataphin应用场景的多样性及复杂性随之增加。因业务系统的原始数据的规范性无法得以保障,所以Dataphin需要定义数据分析的质量,以满足资产质量的时效性、准确性、完整性、...
进行离线数仓建设前您需完成相关云资源的准备。云资源准备包括阿里云账号资源准备、Dataphin开通与AccessKey配置、MaxCompute计算源的开通与配置、以及数据源的准备。本文将指导您完成本教程的云资源准备工作。步骤一:阿里云账号资源准备 ...
进行离线数仓建设前您需完成相关云资源的准备。云资源准备包括阿里云账号资源准备、Dataphin开通与AccessKey配置、MaxCompute计算源的开通与配置、以及数据源的准备。本文将指导您完成本教程的云资源准备工作。步骤一:阿里云账号资源准备 ...
业务租户:统称为 开发租户,进行数据中台建设的租户,即进行数据开发和治理的核心使用租户。一个Dataphin实例可以创建多个开发租户,由元仓租户在租户设置页面创建并分配可用资源(数据处理单元数、质量规则数等)。元仓共享模型数据说明 ...
在使用Dataphin前,您可将需要引入Dataphin的数据源接入到Dataphin中,已接入的数据源可用于读取原始数据和写入数据建设过程中的数据。Dataphin具备丰富的数据源类型接入,支持对接如MaxCompute、Hive等数据仓库,也支持对接企业传统数据库...
在使用Dataphin前,您可将需要引入Dataphin的数据源接入到Dataphin中,已接入的数据源可用于读取原始数据和写入数据建设过程中的数据。Dataphin具备丰富的数据源类型接入,支持对接如MaxCompute、Hive等数据仓库,也支持对接企业传统数据库...
VPC网络下Dataphin的出网IP地址 地域(推荐)通用IP地址 地域IP地址 华东2(上海)1 00.104.0.0/16 100.104.228.128/26、100.104.115.192/26 华南1(深圳)100.104.48.128/26 华北2(北京)100.104.238.64/26 华东1(杭州)100.104.45.0/26...
实体指具有可区别性且独立存在的某种事物,比如人、地名、公司、设备、商品等。本文将指导您如何创建实体。操作步骤 在Dataphin首页,单击顶部菜单栏的 规划。进入 Dataphin规划 页面后,默认进入 数据架构 页面。在 标签架构 页面,按照下...
本教程中,以A电商公司的营销业务板块为例,在交易主题域中,我们重点分析确认收货(交易成功)的业务过程。在确认收货的业务过程中,维度所依赖的业务角度主要有两个,即商品和收货地点(地域)。本教程中,假设收货和购买是同一个地点。...
网络连接方式 地域选择华东2(上海)、华北2(北京)、华南1(深圳)、华东1(杭州)网络连接方式支持选择 公网访问 或 阿里云经典网络或VPC网络。重要 使用公网连接会造成跨域访问,下载数据时会产生额外的费用。更多信息,请参见 ...
常用于网站、应用程序和商业产品,是一种常见的主要关系数据存储系统。更多详情请参见 MySQL官网。使用限制 Dataphin仅支持 超级管理员、数据源管理员、板块架构师、项目管理员 角色创建数据源。操作步骤 在Dataphin首页,单击顶部菜单栏的...
根据阿里巴巴OneData方法论最佳实践,在设计数据模型前,您需要完成技术架构的选型。本教程中使用阿里云大数据产品Dataphin配合MaxCompute,完成整体的数据建模和研发流程。完整的技术架构如下图所示。其中,Dataphin的数据集成及同步负责...
Dataphin遵循Ralph Kimball的维度建模理论,使用Dataphin进行规范建模时,您可根据业务实际情况在Dataphin设计并创建概念模型,并通过概念模型中的业务实体(业务对象 或 业务活动)创建对应的维度表、事实表、原子指标、业务限定、指标、...
Dataphin遵循Ralph Kimball的维度建模理论,使用Dataphin进行规范建模时,您可根据业务实际情况在Dataphin设计并创建概念模型,并通过概念模型中的业务实体(业务对象 或 业务活动)创建对应的维度表、事实表、原子指标、业务限定、指标、...
汇总表设计原则 聚集是指针对原始明细粒度的数据进行汇总。DWS汇总数据层是面向分析对象的主题聚集建模。在本教程中,最终的分析目标为:最近一天某个类目(例如,厨具)商品在各省的销售总额、该类目销售额Top10的商品名称、各省用户购买...
Dataphin创新性地提出了设计即开发的理念,指标定义同时也明确了设计统计口径(即计算逻辑),提升了研发效率,并保证了统计结果的一致性。本文为您介绍如何创建原子指标。操作步骤 在Dataphin首页,单击顶部菜单栏 研发。默认进入数据 ...
Dataphin创新性地提出了设计即开发的理念,指标定义同时也明确了设计统计口径(即计算逻辑),提升了研发效率,并保证了统计结果的一致性。本文为您介绍如何创建原子指标。操作步骤 在Dataphin首页,单击顶部菜单栏 研发。默认进入数据 ...
背景信息 TDengine是一款专为物联网、工业互联网等场景设计并优化的时序数据库,它能安全高效地对数据进行汇聚、存储、分析和分发。权限说明 仅支持具备新建数据源权限的账号进行新建。更多信息,请参见 数据源权限说明。操作步骤 在...
其架构主要针对管理大规模分析型数据仓库以及商业智能工作负载而设计。更多详情,请参见 GreenPlum官网。使用限制 Dataphin仅支持超级管理员、数据源管理员、板块架构师、项目管理员角色创建数据源。超级管理员、数据源管理员角色添加与...