Dataphin免费试用申请
申请信息填写完后，勾选 我已阅读并同意《Dataphin智能数据建设与治理试用服务协议》，单击 免费试用，体验Dataphin功能。相关文档 试用开通成功后，您可按照 Dataphin新手引导 一步步体验Dataphin的研发流程，也可按照 导入模型 来导入...
Alibaba Blink实时模式资源自定义
参数 描述 state_size 作业执行过程中所使用的状态数据的大小，通常默认为0。chain_strategy chain_strategy用于定义多个节点的链接策略，Dataphin支持的链接策略包括：Always：默认参数，即和其他节点均部署在一台机器上，没有特殊要求。...
步骤一：准备工作
进行离线数仓建设前您需完成相关云资源的准备。云资源准备包括阿里云账号资源准备、Dataphin开通与AccessKey配置、MaxCompute计算源的开通与配置、以及数据源的准备。本文将指导您完成本教程的云资源准备工作。步骤一：阿里云账号资源准备 ...
Alibaba Blink实时模式资源自定义
参数 描述 state_size 作业执行过程中所使用的状态数据的大小，通常默认为0。chain_strategy chain_strategy用于定义多个节点的链接策略，Dataphin支持的链接策略包括：Always：默认参数，即和其他节点均部署在一台机器上，没有特殊要求。...
步骤一：准备工作
进行离线数仓建设前您需完成相关云资源的准备。云资源准备包括阿里云账号资源准备、Dataphin开通与AccessKey配置、MaxCompute计算源的开通与配置、以及数据源的准备。本文将指导您完成本教程的云资源准备工作。步骤一：阿里云账号资源准备 ...
元数据仓库共享模型概述
业务租户：统称为 开发租户，进行数据中台建设的租户，即进行数据开发和治理的核心使用租户。一个Dataphin实例可以创建多个开发租户，由元仓租户在租户设置页面创建并分配可用资源（数据处理单元数、质量规则数等）。元仓共享模型数据说明 ...
开通Dataphin
注意事项 开通Dataphin前，请您了解以下几点：购买前建议您先联系阿里云 售前咨询 并提供企业数据建设需求及背景信息。待阿里云售前咨询帮您确认Dataphin当前版本及功能是否符合您的需求后，会为您开通购买权限。Dataphin不支持无条件退款...
Python内置资源包
以下资源包已经预置至系统内，您在开发代码过程中，只需要在代码开始部分添加 import 资源包名 语句即可，例如 import configparser。内置资源包列表 以下列表列出了Dataphin内置的资源包，同时您也可以在Shell计算任务中运行 pip list ...
Python内置资源包
以下资源包已经预置至系统内，您在开发代码过程中，只需要在代码开始部分添加 import 资源包名 语句即可，例如 import configparser。内置资源包列表 以下列表列出了Dataphin内置的资源包，同时您也可以在Shell计算任务中运行 pip list ...
Dataphin智能数据建设与治理试用服务协议
协议版本生效日期：2022年11月22日 本协议是 Dataphin智能数据建设与治理（简称“Dataphin”）与您就 Dataphin 提供的免费试用服务的相关事项所订立的有效合约。1.免费试用内容说明 1.1 免费试用次数：每个 UID 仅可开通 1 次免费试用。1.2...
Dataphin智能数据建设与治理服务等级协议（半托管）
版本生效日期：2024年03月26日 本服务等级协议（Service Level Agreement，以下简称“SLA”）约定了阿里云向客户提供的智能数据建设与治理（简称“Dataphin”）的服务可用性等级指标及赔偿方案。特别提示您，除非另有约定，本协议不适用于...
配置Spark SQL任务参数
spark.executor.memory 1G 执行程序进程使用的内存量。spark.yarn.am.memory 512M 客户端模式下YARN Application Master使用的内存量。spark.yarn.am.memoryOverhead-在客户端模式下为每个AM进程分配的非堆内存量。spark.driver.memory 1G ...
分析业务过程
您可以采用过程分析法，列出整个业务过程涉及的每个环节，包括技术、数据、系统环境等。分析完企业的工作职责范围（部门）后，借助工具通过逆向工程抽取业务系统的真实模型。您可以参考业务规划设计文档和业务运行（开发、设计、变更等）...
技术架构选型
MaxCompute作为整个大数据开发过程中的离线计算引擎。Dataphin则基于OneData方法论——OneModel、OneID、OneService，囊括了数据建模研发、运维中心、监控报警、数据资产等在内的一系列功能。icmsDocProps={'productMethod':'created','...
离线视图概述
离线视图的加工方式不同，创建过程不同。描述说明如下：创建方式 描述 通过表映射创建离线视图 将物理表字段直接定义成为视图指标。通过SQL加工创建离线视图 通过SQL加工方式开发视图指标。通过表单加工创建离线视图 通过表单加工方式配置...
概述
为了及时告知您任务运行过程中的异常情况，Dataphin支持对离线计算、实时计算、资产质量、数据服务模块的监控报警规则进行告警。任务运行过程中，如果触发了监控告警规则，告警中心会给您发送告警消息，便于您及时发现并处理异常。告警中心...
划分主题域
主题域 业务过程举例 会员和店铺域 注册、登录、装修、开店、关店 商品域 发布、上架、下架、重发 日志域 曝光、浏览、单击 交易域 下单、支付、发货、确认收货（交易成功）服务域 商品收藏、拜访、培训、优惠券领用 采购域 商品采购（供应...
研发平台设置
在Dataphin研发平台支持设置研发过程中的编辑锁。本文将为您介绍如何进行研发平台的编辑锁设置。权限说明 仅支持 超级管理员 或 系统管理员 进行设置。操作步骤 在Dataphin首页，单击顶部菜单栏的 管理中心。按照下图操作指引，进入 研发...
研发平台设置
在Dataphin研发平台支持设置研发过程中的编辑锁。本文将为您介绍如何进行研发平台的编辑锁设置。权限说明 仅支持 超级管理员 或 系统管理员 进行设置。操作步骤 在Dataphin首页，单击顶部菜单栏的 管理中心。按照下图操作指引，进入 研发...
告警中心概述
为了及时告知您任务运行过程中的异常情况，Dataphin支持对离线计算、实时计算、资产质量、数据服务模块的监控报警规则进行告警。任务运行过程中，如果触发了监控告警规则，告警中心会给您发送告警消息，便于您及时发现并处理异常。告警中心...
映射关系概述
有效映射关系是基于配置的落标映射规则、手动添加或在研发过程中指定关联生成的数据标准和资产对象之间的映射关系，可用于描述资产对象应该遵循某个数据标准，或数据标准被某个资产对象关联遵循。无效映射关系可以批量上传，也可以将某个已...
映射关系概述
有效映射关系是基于配置的落标映射规则、手动添加或在研发过程中指定关联生成的数据标准和资产对象之间的映射关系，可用于描述资产对象应该遵循某个数据标准，或数据标准被某个资产对象关联遵循。无效映射关系可以批量上传，也可以将某个已...
项目管理概述
不同项目类型，创建过程不同，具体操作，请参见：创建通用项目。② 项目卡片列表 在项目卡片中支持查看项目相关信息外还支持对已创建的项目进行相关的管理操作，包括绑定数据板块、配置项目计算源、配置项目信息以及项目的成员管理。同时您...
任务管理
初始化：资产治理模块每天实例化过程中状态。执行中：调度系统开始调度执行，反馈给到资产治理模块的状态。已终止：暂停后调度系统中反馈实际任务的状态。业务日期：当前任务对应执行元数据、日志的时间。执行日期：任务实际执行的日期。...
任务管理
初始化：资产治理模块每天实例化过程中状态。执行中：调度系统开始调度执行，反馈给到资产治理模块的状态。已终止：暂停后调度系统中反馈实际任务的状态。业务日期：当前任务对应执行元数据、日志的时间。执行日期：任务实际执行的日期。...
管理中心概述
在后续数据研发过程中，计算引擎用于采集、连接及管理元数据。智能引擎 智能引擎 配置计算和存储资源的参数规则，优化逻辑表任务、SQL查询任务及设置查询引擎，以提高数据构建效率。变更管控 创建变更策略 变更策略是根据您已经创建好的...
分析平台概述
Notebook：基于分析平台，支持您创建Notebook，记录您的分析思路与过程，包括代码、运行结果与分析结论等。更多信息，请参见 Notebook概述。SQL查询：Dataphin分析平台提供SQL查询功能，可在平台上创建SQL查询并编写SQL代码查询所需的数据...
明确统计指标
统计指标包括派生指标、原子指标、业务限定、业务过程和统计粒度（即维度）。在设计模型前，建议先完成该部分工作，以便设计出易于使用的数据仓库。指标定义注意事项 原子指标是明确统计口径和计算逻辑，事实模型或维度模型定义完成，即可...
项目管理概述
不同项目类型，创建过程不同，具体操作，请参见：创建通用项目。创建标签项目。② 项目卡片列表 在项目卡片中支持查看项目相关信息外还支持对已创建的项目进行相关的管理操作，包括绑定数据板块、配置项目计算源、配置项目信息、项目的成员...
分析平台概述
Notebook：基于分析平台，支持您创建Notebook，记录您的分析思路与过程，包括代码、运行结果与分析结论等。更多信息，请参见 Notebook概述。SQL查询：Dataphin分析平台提供SQL查询功能，可在平台上创建SQL查询并编写SQL代码查询所需的数据...
维度逻辑表概述
例如，在分析交易过程时，可以通过买家、卖家、商品和时间等维度描述交易发生的环境。本文为您介绍维度逻辑表的相关内容。前提条件 创建维度逻辑表需要已完成业务实体的创建，具体操作请参见 创建并管理业务实体。维度逻辑表配置入口 在...
维度逻辑表概述
例如，在分析交易过程时，可以通过买家、卖家、商品和时间等维度描述交易发生的环境。本文为您介绍维度逻辑表的相关内容。前提条件 创建维度逻辑表需要已完成业务实体的创建，具体操作请参见 创建并管理业务实体。维度逻辑表配置入口 在...
定义维度与构建总线矩阵
根据阿里巴巴OneData方法论，明确每个主题域中有哪些业务过程后，您需要开始定义维度，并基于维度构建总线矩阵。定义维度 在划分主题域、构建总线矩阵时，需要结合对业务过程的分析定义维度。本教程中，以A电商公司的营销业务板块为例，在...
实时模式时间参数配置
实时任务的时间参数可用于实时计算任务的运行时间偏移。文本将为您介绍如何配置实时模式的时间参数。...例如：stat_date=${yyyyMMdd-1}，则任务运行过程中的开始执行时间为${yyyyMMdd-1}。单击 确定，完成任务实时模式的资源配置。
实时模式时间参数配置
实时任务的时间参数可用于实时计算任务的运行时间偏移。文本将为您介绍如何配置实时模式的时间参数。...例如：stat_date=${yyyyMMdd-1}，则任务运行过程中的开始执行时间为${yyyyMMdd-1}。单击 确定，完成任务实时模式的资源配置。
逻辑表调度配置概述
配置调度属性 逻辑表调度属性用于定义逻辑表任务在调度过程中的调度规则，包括调度类型、调度周期、条件调度。调度依赖 调度依赖用于配置逻辑表任务上游依赖节点。Dataphin通过各个节点的调度依赖配置结果，有序的运行业务流程中各个节点，...
上传资源及引用
资源管理用于存储、管理代码研发过程中所需的文件，如JAR、JSON、Python等资源文件。本文为您介绍如何新建资源及引用。创建资源 在Dataphin首页，单击 研发。在数据 开发 页面，按照下图操作指引，进入 新建资源 对话框。①区域选择编码...
上传资源及引用
资源管理用于存储、管理代码研发过程中所需的文件，如JAR、JSON、Python等资源文件。本文为您介绍如何新建资源及引用。创建资源 在Dataphin首页，单击 研发。在数据 开发 页面，按照下图操作指引，进入 新建资源 对话框。①区域选择编码...
管理中心概述
在后续数据研发过程中，计算引擎用于采集、连接及管理元数据。跨租户发布设置 跨租户发布设置用于配置跨租户发布的权限、发布文件的保留时间及获取发布凭证。跨租户发布 跨租户发布概述 跨租户发布数据用于迁移租户间的数据，以满足不同...
数仓分层
明细数据层（DWD，Data Warehouse Detail）：以业务过程作为建模驱动，基于每个具体的业务过程特点，构建最细粒度的明细事实表。可以结合企业的数据使用特点，将明细事实表的某些重要属性字段做适当冗余，也即宽表化处理。在Dataphin中，...
- 产品推荐
- 这些文档可能帮助您