准备数据源和计算源

在使用Dataphin前,您需要选择符合业务场景需求的数据库或数据仓库作为数据源,用于读取原始数据和写入数据建设过程中的数据;同时您需要准备MaxCompute项目、Flink项目作为Dataphin的计算源,为数据的研发提供计算资源。准备数据源 ...

准备数据源和计算源

在使用Dataphin前,您需要选择符合业务场景需求的数据库或数据仓库作为数据源,用于读取原始数据和写入数据建设过程中的数据;同时您需要准备MaxCompute项目、Flink项目作为Dataphin的计算源,为数据的研发提供计算资源。准备数据源 ...

划分主题域

划分示例 例如,A公司电商营销业务板块可以划分为如下表所示的主题域。主题域中的每一部分,都是根据实际业务过程进行归纳、抽象得出的。主题域 业务过程举例 会员和店铺域 注册、登录、装修、开店、关店 商品域 发布、上架、下架、重发 ...

管理中心概述

变更管控 变更策略 变更策略是根据您已经创建的变更规则,设置其生效范围和管控方式。支持在单个变更策略中配置多个规则并给每个规则指定不同的管控方式。变更规则 变更规则是基于对象的基础属性抽象出元数据,结合系统内置规则或自定义...

标签工厂概述

为企业数据研发团队以及开发工程师提供一站式标签开发以及服务平台,适合多种场景(如风控、营销),提供离线、实时、服务标签的开发、管理、探索以及服务能力,赋能上层各端业务应用,为企业沉淀标签资产,使标签开发高效、找、好用、...

数仓构建流程

本文为您介绍如何基于阿里巴巴OneData方法论最佳实践,使用Dataphin助力企业数据中台的建设与管理,快速构建标准、规范的数据仓库。数仓构建流程 下图为使用Dataphin构建数据仓库的基本流程。基本概念 在正式学习本教程之前,您需要了解...

逻辑结构说明

当数据的业务含义存在较大差异时,您可以创建不同的数据板块,让各成员独立管理不同的业务,后续数据仓库的建设将按照数据板块进行划分。主题域 数据域即主题域,是对某个主题分析后确定的主题边界。例如,商品域、交易域、会员域等。项目 ...

标签工厂概述

为企业数据研发团队以及开发工程师提供一站式标签开发以及服务平台,适合多种场景(如风控、营销),提供离线、实时、服务标签的开发、管理、探索以及服务能力,赋能上层各端业务应用,为企业沉淀标签资产,使标签开发高效、找、好用、...

使用限制

计算引擎类型 选择设置 计算引擎设置需要提前采购计算引擎MaxCompute资源,系统以此来支持相关数据的建设工作。需要选择计算引擎类型(目前仅开放MaxCompute计算类型),配置计算引擎所在的集群,例如Endpoint等信息。系统以此来支持该计算...

明确统计指标

确定指标 本教程中,用户是A公司电商营销部门的营销数据分析师。数据需求为最近一天厨具类目的商品在各省的销售总额、该类目销售额前10的商品名称、各省用户购买力分布(人均消费额)等,用于营销分析。基于规范定义,确认业务过程为确认收...

维度层(DIM)

例如,电商公司的商品维度可能有近百个维度属性,为下游的数据统计、分析、探查提供了良好的基础。尽可能多的给出包含一些富有意义的文字性描述。属性不应该是编码,而应该是真正的文字。在阿里巴巴维度建模中,通常是编码和文字同时存在,...

资产质量概述

背景信息 面对各行各业日趋强烈的大数据建设、管理及应用的诉求,Dataphin应用场景的多样性及复杂性随之增加。因业务系统的原始数据的规范性无法得以保障,所以Dataphin需要定义数据分析的质量,以满足资产质量的时效性、准确性、完整性、...

准备阿里云账号

在使用Dataphin产品前,您需要准备阿里云账号。本文为您介绍如何创建阿里云账号并完成账号相关准备工作。步骤一:注册阿里云账号 打开 阿里云官网。在阿里云官网右上角,单击 立即注册。在 注册账号 页面,按照操作提示完成账号注册。...

落标监控概述

监控规则的内容和标准内容无关,但是在创建数据标准时添加了规则配置,则针对该标准映射到的所有资产对象,均可快捷引用标准已经配置的监控规则,实现快速批量配置的目的。这种配置方式下,质量监控规则的 规则配置 和 校验配置 均为自行...

落标监控概述

监控规则的内容和标准内容无关,但是在创建数据标准时添加了规则配置,则针对该标准映射到的所有资产对象,均可快捷引用标准已经配置的监控规则,实现快速批量配置的目的。这种配置方式下,质量监控规则的 规则配置 和 校验配置 均为自行...

实时研发基本流程概述

背景信息 某公司的订单系统使用MySQL作为存储数据库,其中的oms_order为存储订单的表。现在要开始设计一个营销活动,在活动期间需要实时地统计每个产品类型的销售数量,用于快速地支持活动方案调整。以下为数据流向的示意图:订单系统MySQL...

创建Hologres计算源

如果数据服务中的Dataphin数据源对数据查询速度有要求,但当Dataphin的计算引擎为MaxCompute时,任务运行速度比较慢,不能很地满足对查询速度有要求的业务场景。因此,您可以创建计算源并添加至已绑定MaxCompute计算源的项目中,后续就...

新建资产专题

资产专题能够帮助您对资产进行更细粒度的分析管理,以便更快、更精准的搜索资产和更的进行资产运营管理。本文为您介绍如何新建及管理资产专题。权限说明 超级管理员和运营管理员支持新建及管理所有专题分组、资产专题以及精选专题。专题...

新建资产专题

资产专题能够帮助您对资产进行更细粒度的分析管理,以便更快、更精准的搜索资产和更的进行资产运营管理。本文为您介绍如何新建及管理资产专题。权限说明 超级管理员和运营管理员支持新建及管理所有专题分组、资产专题以及精选专题。专题...

数据服务系统配置

运维监控统计数据可帮助您查看最近某段时间的API运维数据,以便您更的调整API,合理优化资源。本文为您介绍如何自定义运维监控配置。权限说明 仅超级管理员可修改配置。数据服务系统配置入口 在Dataphin首页,单击顶部菜单栏 服务。按照...

步骤一:准备工作

进行离线数仓建设前您需完成相关云资源的准备。云资源准备包括阿里云账号资源准备、Dataphin开通与AccessKey配置、MaxCompute计算源的开通与配置、以及数据源的准备。本文将指导您完成本教程的云资源准备工作。步骤一:阿里云账号资源准备 ...

API任务概述

Dataphin支持通过直连数据源模式、逻辑表API-SQL模式、逻辑表API-向导模式、注册API和五种方式创建API,不同任务对应不同的用途,本文为您简要说明API任务的不同用途。任务名称 任务用途 任务链接 通过直连数据源模式创建API 直连数据源...

敏感数据保护

加密后的数据只有拥有密钥权限的用户才能够进行查看,从而更地保护敏感数据。Dataphin的敏感数据保护,主要有以下两种方案:脱敏方案 针对敏感数据进行遮盖脱敏和哈希脱敏保护,如将“张三”展示为“张*”,或者通过md5脱敏手机号,可以...

新建用户自定义函数

背景信息 Dataphin系统根据函数类型定义了函数的目录,帮助您更地管理函数。操作步骤 在Dataphin首页,单击顶部菜单栏的 研发。在数据开发页面,按照下图操作指引,进入 新建函数 对话框。系统支持新建的函数类型,根据Dataphin系统的...

定义维度与构建总线矩阵

本教程中,以A电商公司的营销业务板块为例,在交易主题域中,我们重点分析确认收货(交易成功)的业务过程。在确认收货的业务过程中,维度所依赖的业务角度主要有两个,即商品和收货地点(地域)。本教程中,假设收货和购买是同一个地点。...

数据源管理概述

在使用Dataphin前,您可将需要引入Dataphin的数据源接入到Dataphin中,已接入的数据源可用于读取原始数据和写入数据建设过程中的数据。Dataphin具备丰富的数据源类型接入,支持对接如MaxCompute、Hive等数据仓库,也支持对接企业传统数据库...

数据源管理概述

在使用Dataphin前,您可将需要引入Dataphin的数据源接入到Dataphin中,已接入的数据源可用于读取原始数据和写入数据建设过程中的数据。Dataphin具备丰富的数据源类型接入,支持对接如MaxCompute、Hive等数据仓库,也支持对接企业传统数据库...

实时模式依赖关系配置

表名 且不区分大小写,以标识本节点产出的表,同时其他节点更地选择调度依赖关系。例如,开发项目名称为 onedata_dev,建议将输出名称设置为 onedata.s_order。如果您将输出名称设置为 onedata_dev.s_order,则仅限代码 select*from ...

实时模式依赖关系配置

表名 且不区分大小写,以标识本节点产出的表,同时其他节点更地选择调度依赖关系。例如,开发项目名称为 onedata_dev,建议将输出名称设置为 onedata.s_order。如果您将输出名称设置为 onedata_dev.s_order,则仅限代码 select*from ...

新建行为关系

行为关系通过具体的行为定义实体之间的关系,如“用户购买商品”通过“购买”这个行为描述了“用户”主体和“商品”对象这两个实体之间的关系,定义的行为关系可以用于开发行为统计、行为偏好以及规则组合类型的标签。本文将指导您如何...

数据服务概述

数据服务(OneService)是基于Dataphin建设数据中台的最后一步。数据服务作为统一的数据服务出口,实现了数据的统一市场化管理,有效地降低数据开放门槛的同时,保障了数据开放的安全。前提条件 已购买 数据服务 增值服务,开通Dataphin ...

变更管控概述

发布管控是基于用户已经设定的管控规则及生效策略,在任务发布前执行对应的检查,以判断任务是否符合发布条件。针对校验不通过的任务,根据规则配置详情,会阻断发布流程(强管控)或给出警告提示但不阻塞发布(弱管控),以增强平台的...

数据服务概述

数据服务(OneService)是基于Dataphin建设数据中台的最后一步。数据服务作为统一的数据服务出口,实现了数据的统一市场化管理,有效地降低数据开放门槛的同时,保障了数据开放的安全。前提条件 已购买 数据服务 增值服务并且当前租户已...

标签工厂新手指引

您可以通过Dataphin标签沉淀易开发、找好用、高价值的核心标签资产。流程引导 使用标签工厂进行离线标签开发及应用的基本使用流程如下。标签规划。在进行标签开发前,您需要完成标签项目和标签架构的规划工作。创建标签项目:标签项目为...

标签工厂新手指引

您可以通过Dataphin标签沉淀易开发、找好用、高价值的核心标签资产。流程引导 使用标签工厂进行离线标签开发及应用的基本使用流程如下。标签规划。在进行标签开发前,您需要完成标签项目和标签架构的规划工作。创建标签项目:标签项目为...

准备RAM用户

为保证项目数据安全,推荐您创建RAM用户并交由其他用户使用,实现对参与Dataphin项目的人员权限进行严格把控。本文为您介绍如何创建RAM用户。背景信息 在创建RAM...后续步骤 准备RAM用户后,即可开通Dataphin服务,请参见 开通Dataphin。

新建Doris数据源

基于此,能够较的满足报表分析、即席查询、统一数仓构建、数据湖联邦查询加速等使用场景。更多信息,请参见 Doris官网。权限说明 Dataphin仅支持 超级管理员、数据源管理员、板块架构师、项目管理员 角色创建数据源。操作步骤 在Dataphin...

计费说明-半托管

为了让您更地进行数据研发并保障数据生产运维,Dataphin免费赠送您一定规格的基线条数和限流条数。规格 定价(CNY/年)3条基线+1条限流(免费)0 标准版 252,000 数据标准增值功能包定价说明 按照数据标准版本进行计费。规格 定价(CNY/...

离线模式依赖关系配置

表名 且不区分大小写,以标识本节点产出的表,同时其他节点更地选择调度依赖关系。例如,开发项目名称为 onedata_dev,建议将输出名称设置为 onedata.s_order。如果您将输出名称设置为 onedata_dev.s_order,则仅限代码 select*from ...

离线模式依赖关系配置

表名 且不区分大小写,以标识本节点产出的表,同时其他节点更地选择调度依赖关系。例如,开发项目名称为 onedata_dev,建议将输出名称设置为 onedata.s_order。如果您将输出名称设置为 onedata_dev.s_order,则仅限代码 select*from ...
共有52条 < 1 2 3 4 ... 52 >
跳转至: GO
产品推荐
云服务器 安全管家服务 安全中心
这些文档可能帮助您
智能数据建设与治理 Dataphin 弹性公网IP 短信服务 人工智能平台 PAI 物联网平台 对象存储
新人特惠 爆款特惠 最新活动 免费试用