技术架构选型

本教程使用阿里云大数据产品Dataphin配合MaxCompute,完成整体的数据建模和研发流程。完整的技术架构如下图所示。其中,Dataphin的数据集成及同步负责完成源业务系统数据引入。MaxCompute作为整个大数据开发过程的离线计算引擎。...

操作功能权限

在 资产 页面,单击顶部菜单栏的 权限。在 权限管理 页面,单击左侧导航栏 我管理的 下的 功能权限。在 功能权限 页面,单击需要授权功能权限所在行 操作 列下的 图标。根据功能权限授权对话框提示,配置参数。参数 描述 授权用户 选择...

创建ID

在 创建ID 对话框,配置ID相关信息。参数 描述 ID名称 填写ID名称。允许英文、数字、下划线或连字符,64字符以内。ID code 必须以字母开头,允许小写英文字母、数字、下划线,64字符以内。责任人 负责该实体的信息设置和管理人。支持...

发布中心概述

发布成功的数据对象将从待发布对象列表移除,并在发布记录列表生成一条发布成功的记录。发布失败的数据对象将继续记录在待发布对象列表,同时在发布记录列表生成一条发布失败的记录。发布中心入口 在Dataphin产品首页,单击顶部菜单栏...

创建ID

在 创建ID 对话框,配置ID相关信息。参数 描述 ID名称 填写ID名称。允许英文、数字、下划线或连字符,64字符以内。ID code 必须以字母开头,允许小写英文字母、数字、下划线,64字符以内。责任人 负责该实体的信息设置和管理人。支持...

应用场景

价值:数据建设统一:数据标准规范定义。数据研发提效:自动化代码生成。战略决策高效:数据分析准确,数据需求响应及时。推荐搭配组合:Dataphin+MaxCompute MaxCompute详情请参见 什么是MaxCompute。输出主题式数据服务,提高数据化运营...

创建市场

资产市场管理用于新建以及管理私有及公共资产市场的基本信息,包括市场管理员、市场类目、描述等,在工作台开发好的标签都可以申请上架于资产市场。可以定义一个公共资产市场以及多个私有资产市场,其中绑定公共资产市场的项目仅支持上架...

标签全局设置

您可将频繁使用的标签分区字段、时间戳字段进行统一设置为全局信息,可以避免在标签开发重复定义,减少人力和维护成本。本文将为您介绍标签全局如何设置。标签全局设置入口 在Dataphin首页,单击顶部菜单栏的 管理中心。在 管理中心 页面...

步骤五:开发指标

本文为您介绍如何完成本教程的 最近1天西湖龙井品类订单总金额 派生指标开发。操作步骤 在Dataphin首页,单击顶部菜单栏的 研发。默认进入数据 开发 页面。按照下图操作指引,进入 新建派生指标 ...在提 交备注 对话框,单击确定并提交。

治理项管理流程

Dataphin支持通过自定义扩展治理项规则的方式,助您构建企业内部的治理规范,并支持将治理规范纳入到数据资产管理体系。治理项的管理流程如下:元数据管理:配置和管理数据治理所需要的元数据指标。治理项管理:基于元数据指标,配置和...

新建Notebook

本文为您介绍如何基于Dataphin分析平台新建Notebook。...操作步骤 请参见 分析平台入口,进入分析平台。单击 按钮,新建Notebook。在 新建Notebook 对话框,配置参数。参数 描述 Notebook名称 允许最长字符256个,不支持特殊字符|\/:?...

新建Notebook

本文为您介绍如何基于Dataphin分析平台新建Notebook。...操作步骤 请参见 分析平台入口,进入分析平台。单击 按钮,新建Notebook。在 新建Notebook 对话框,配置参数。参数 描述 Notebook名称 允许最长字符256个,不支持特殊字符|\/:?...

通知设置

使用限制 若在消息渠道未开启邮件、钉钉群消息等相应的联系方式,则消息无法发送。消息渠道配置请参见 配置渠道设置。通知设置说明 流程控制:用于审批流程相关(如数据标准审批、发布审批、数据下载审批等)的通知。权限管理:用于权限...

管理市场类目

导入市场类目 在 设置类目 对话框,支持 标签类目 与 导入,您可根据业务需求选择对应类目类型并单击 导入类目 进行导入。在导入类目对话框,配置 上传 您的类目文件。您也可以单击下载模板,填写模板后在进行上传。支持文件拓展名csv...

管理API权限

如果您已购买了数据服务模块,即可使用API权限。本文为您介绍如何申请和交还API权限。前提条件 已购买数据服务模块,详情请参见 开通Dataphin。申请API权限 在Dataphin首页...在 是否进行交还该权限 对话框,单击 确定,完成API权限的交还。

DDL语句

MaxCompute的DDL语句包括对表、分区、列、生命周期和视图的操作。本文为您介绍Dataphin支持的MaxCompute的DDL语句。表操作 功能 当前是否支持 创建表 是 说明 对于创建的外部表,Dataphin支持使用msck repair补全外部表分区数据语法格式...

概述

为了及时告知您任务运行过程的异常情况,Dataphin支持对离线计算、实时计算、资产质量、数据服务模块的监控报警规则进行告警。任务运行过程,如果触发了监控告警规则,告警中心会给您发送告警消息,便于您及时发现并处理异常。告警中心...

研发平台设置

在Dataphin研发平台支持设置研发过程的编辑锁。本文将为您介绍如何进行研发平台的编辑锁设置。权限说明 仅支持 超级管理员 或 系统管理员 进行设置。操作步骤 在Dataphin首页,单击顶部菜单栏的 管理中心。按照下图操作指引,进入 研发...

任务管理

任务管理帮助您管理数据资产治理的治理项类型任务和推送类型任务。本文为您介绍如何查看任务详情、重跑任务、查看日志。推送类型 和 治理项类型 的任务管理功能模块是相似的,本章节以 治理项类型 为例进行介绍。进入任务管理页面 在...

研发平台设置

在Dataphin研发平台支持设置研发过程的编辑锁。本文将为您介绍如何进行研发平台的编辑锁设置。权限说明 仅支持 超级管理员 或 系统管理员 进行设置。操作步骤 在Dataphin首页,单击顶部菜单栏的 管理中心。按照下图操作指引,进入 研发...

校验记录概述

特殊的,若质量规则开启了权限限制,则优先遵循质量规则的权限限制执行。校验记录入口 在Dataphin首页,单击顶部菜单栏的 资产。按照下图指引,进入 校验记录 页面。从不同视角查看校验记录 Dataphin支持从 全局、项目、个人 三个视角...

新建资产市场

资产市场管理用于新建以及管理私有及公共资产市场的基本信息,包括市场管理员、市场类目、描述等,在工作台开发好的标签 以及群组 都可以申请上架于资产市场。可以定义一个公共资产市场以及多个私有资产市场,项目的标签 及群组 仅可...

管理中心概述

删除Dataphin成员列表的成员。如果RAM用户账号信息发生变更,则您可以通过 账号系统同步 更新Dataphin成员列表。系统设置 设置Dataphin实例的计算引擎 在开始使用Dataphin前,您需要完成Dataphin实例计算引擎的设置,即配置Dataphin...

新建同步任务文件夹

同步任务文件夹将不同类型的同步任务进行分类存放,帮助您更好地管理同步任务。本文为您介绍如何新建同步任务文件夹及对已添加的同步任务文件夹支持...在 新建文件夹 对话框,填写文件夹的 名称 并选择目录。单击 确定,完成文件夹的创建。

配置任务基本信息

您可以在离线任务编辑器属性对话框查看离线任务的基本详细和进行调度配置,包括任务的名称、ID、类型,并配置对应责任人、描述等基本信息。本文为您介绍离线任务属性的基本信息参数配置。操作步骤 请参见 离线任务属性入口,进入离线任务...

配置任务基本信息

您可以在离线任务编辑器属性对话框查看离线任务的基本详细和进行调度配置,包括任务的名称、ID、类型,并配置对应责任人、描述等基本信息。本文为您介绍离线任务属性的基本信息参数配置。操作步骤 请参见 离线任务属性入口,进入离线任务...

DML操作

MaxCompute的DML语句包括插入、更新和删除数据操作。本文为您介绍Dataphin支持的MaxCompute的DML操作语句。功能 是否支持 插入或覆写数据(INSERT INTO|INSERT OVERWRITE)支持 insert {into|overwrite} table[partition()]...

管理数据分级

查看数据分级 在 数据分级 页面,查看系统的数据分级及每个数据分级的详细信息。区域 描述 ① 搜索区 您可以根据数据分级的名称关键字,快速搜索数据分级。② 数据分类信息 为您展示数据分级、数据分级的名称、更新人、更新时间、分级...

告警中心概述

为了及时告知您任务运行过程的异常情况,Dataphin支持对离线计算、实时计算、资产质量、数据服务模块的监控报警规则进行告警。任务运行过程,如果触发了监控告警规则,告警中心会给您发送告警消息,便于您及时发现并处理异常。告警中心...

逻辑表参数配置

逻辑表参数配置是对逻辑表所用的变量进行赋值,从而支持节点调度时,参数变量可以自动被替换为相应的变量值。本文将指导您如何配置逻辑表参数。操作步骤 请参见 数据开发入口,进入数据开发页面。在数据 开发 页面,选择您需配置调度的...

实时模式依赖文件配置

前提条件 任务所依赖的资源文件已上传到Dataphin资源。具体操作,请参见见 上传资源及引用。操作步骤 请参见 实时模式配置入口,进入实时任务的 实时模式 配置页面。在配置面板 依赖文件 区域,配置任务实时模式的 依赖文件 信息。在...

实时模式State配置

在配置面板State 配置 区域,配置任务实时模式的 State配置 信息。State的数据过期时间默认为36小时,可选择天、小时、分钟、秒为单位进行设置。若未填写,将默认使用作业引擎版本的默认值为State数据过期时间。单击 确定,完成实时模式...

离线模式依赖文件配置

前提条件 任务所依赖的资源文件已上传到Dataphin资源。具体操作,请参见 上传资源及引用。操作步骤 请参见 离线模式配置入口,进入任务的 离线模式 配置页面。在配置面板 依赖文件 区域,配置任务离线模式的 依赖文件 信息。在添加依赖...

创建派生指标

在 定义派生指标 步骤,配置参数。参数 描述 指标定义 统计周期 选择派生指标的统计周期。统计周期用于定义指标来源数据的时间跨度。例如,选择了最近7天,则表示统计最近7天内的事实行为数据。支持选择3个统计周期。原子指标 选择派生...

新建手工表

操作步骤 在Dataphin首页,单击顶部菜单栏的 分析。按照下图操作指引,进入 新建手工表 对话框。在 新建手工表 对话框,配置参数。参数 描述 表名称 请输入表名称。仅允许数字、字母、下划线(_),128位字符以内。目录位置 选择任务所...

实时模式State配置

在配置面板State 配置 区域,配置任务实时模式的 State配置 信息。State的数据过期时间默认为36小时,可选择天、小时、分钟、秒为单位进行设置。若未填写,将默认使用作业引擎版本的默认值为State数据过期时间。单击 确定,完成实时模式...

创建派生指标

在 定义派生指标 步骤,配置参数。参数 描述 指标定义 统计周期 选择派生指标的统计周期。统计周期用于定义指标来源数据的时间跨度。例如,选择了最近7天,则表示统计最近7天内的事实行为数据。支持选择3个统计周期。原子指标 选择派生...

查看历史信息

完成查看信息后,单击 节点版本 对话框的 确定,关闭节点版本对话框。下载管道脚本 在数据 集成 页面,单击需要下载脚本的离线单条管道。在管道脚本的编辑页面,单击页面上方的 历史信息。在 节点版本 对话框,单击需要下载脚本的版本...

补数据任务概述

代码若使用调度参数,则该参数将根据补数据时选择的业务日期自动替换为具体值,结合业务代码将对应时间数据写入对应分区。帮助您对数据缺失、错误、重复或不完整的数据进行补全、修正。调度类型说明 Dataphin补数据任务支持两种调度...

编码规范

配置项 描述 禁止即席查询使用“select*”语法查询汇总逻辑表 默认为 是。系统根据汇总逻辑表的来源表和统计周期,会生成多张物化表,当使用 select*语法查询汇总逻辑表时,底层物化SQL会将所有物化表全部关联,造成大量资源的浪费。该...
共有44条 < 1 2 3 4 ... 44 >
跳转至: GO
产品推荐
云服务器 安全管家服务 安全中心
这些文档可能帮助您
智能数据建设与治理 Dataphin 弹性公网IP 短信服务 人工智能平台 PAI 物联网平台 对象存储
新人特惠 爆款特惠 最新活动 免费试用