数据集建模

数据集建模介绍 制作出一张强大好用的大宽表

准备工作

本文介绍使用多方安全建模服务前需要完成的准备工作。确保节点已部署完成,且样本已加载到节点中。确保管理控制台中已存在或受邀进入一个多方安全建模项目。确保管理控制台的多方安全建模项目中,存在已授权的节点和数据。

用户授权与管理

使用数据建模DATABLAU功能时,在进行定义标准、数据建模、数据开发、部署运维等不同任务时,通常需不同角色的用户进行操作,对应用户需获取相应的权限。本文为您介绍制定标准、数据建模并应用部署过程中推荐的用户角色权限规划与授权操作...

数据标准概述

DataWorks数据建模支持在建模前规划制定数据标准,或在建模使用过程中根据业务情况沉淀企业业务的数据标准。通过规范约束标准代码、度量单位、字段标准、命名词典,来保障后续建模与应用过程中数据处理的一致性,从源头上保障数据的标准化...

数据标准

数据是由特定的环境产生的,这些环境因素包括生产者、时间、系统等,从而造成了同一个语义的数据,有...说明 目前使用DDM进行数据建模可以进行逻辑建模和物理建模,但物理建模仅支持MaxCompute和Hive两种大数据引擎,不支持自定义数据源类型。

入门实践

本文以实现构建数据标准来设计数据模型,并通过规范化的流程,下发模型至计算引擎为例,为您介绍DataWorks数据建模的流程。前提条件 如果您使用的是阿里云主账号,请下载建模工具。如果您使用的是RAM用户,请完成授权并下载建模工具。详情...

度量单位

登录 DataWorks控制台,切换至目标地域后,单击左侧导航栏的 数据建模与开发>数据建模,在下拉框中选择对应工作空间后单击 进入数据建模。进入 度量单位。在 智能数据建模 页面的顶部菜单栏,单击 数据标准,进入 数据标准 页面。在 数据...

关系图

DataWorks智能数据建模的关系图,帮助您快速构建数据仓库模型架构图,直观展示数据仓库中维度、维度表、明细表、汇总表、应用表等各模型之间的关系。一个关系图承载一个数据仓库模型,一个账号支持创建多个关系图。本文为您介绍关系图的...

数仓规划概述

使用DataWorks进行数据建模时,数仓架构师或者模型小组成员可以在数仓规划页面对数据分层、业务分类、数据域、业务过程、数据集市、主题域进行设计。完成设计后,模型设计师在建模过程中可以依赖数仓规划中的数据分层、业务分类、数据域、...

云计算资源类型

云计算资源是 数据资源平台 中数据建模使用的基础,通过了解数据建模支持的云计算资源类型,并在系统设置模块添加数据建模需要使用的云计算资源类型对应资源,以备在物理化逻辑表和设置对应资源的质量规则时使用。本文介绍数据建模中支持...

读配置文件

一、组件说明 用户建模完成之后,数据预处理、特征生成的结果可能会被用于不同任务中去。DataTrust支持数据预处理、特征生成的配置项在平台上的复用,用于不同训练、预测、评估类任务。组件截图 二、参数说明 参数名称 参数说明 选择配置...

创建和管理结构对象映射

您可以通过配置字段映射,实现从接口到逻辑,以及到存储层的扩展,而不需要在中心应用中通过建模、生成代码、开发以及部署等流程实现。本文介绍在建模平台如何创建和管理结构对象,以及结构对象和数据对象的映射。说明 目前仅支持对基础...

读数据表

使用已有的数据进行建模,其中,数据表必须先加入到项目数据中。组件截图 二、参数说明 参数名称 参数说明 参与方 建模的数据输入分别位于己方和对方的数据库中,在任务中,将对应方的ID加入到【读数据表】/【写数据表】组件中。表名 希望...

业务分类

登录 DataWorks控制台,单击左侧导航栏的 数据建模与开发>数据建模,在下拉框中选择对应工作空间后单击 进入数据建模。在 数据建模 页面的顶部菜单栏,单击 数仓规划,进入 数仓规划 页面。在 数仓规划 页面的左侧导航栏,单击 业务分类,...

Dataphin试用的时候没有规范建模模块

概述 Dataphin试用的时候没有规范建模模块。详细信息 Dataphin试用的时候没有规范建模模块,这个是要对应的项目绑定一下业务板块,才可以使用规范建模,选择归属板块后,即可进行规范建模研发工作。适用于 Dataphin 公共云

模型训练

Designer提供了丰富的建模组件,您可以使用工作流,可视化的灵活构建模型、调试模型并周期性地调度模型,以完成模型训练。本文为您介绍使用Designer训练模型的具体操作步骤。前提条件 已创建工作流。您可以根据业务需要创建空白工作流或...

数据开发概述

数据开发包括编码研发和规范建模。编码研发用于构建计算任务,例如创建SQL代码任务、Shell任务、Python任务、MR任务和Spark任务;规范建模用于构建逻辑化的数据模型。前提条件 若需进行实时开发,需已购买实时研发增值服务。详情请参见 ...

标准代码

登录 DataWorks控制台,切换至目标地域后,单击左侧导航栏的 数据建模与开发>数据建模,在下拉框中选择对应工作空间后单击 进入数据建模。进入 标准代码。在 智能数据建模 页面的顶部菜单栏,单击 数据标准,进入 数据标准 页面。在 数据...

创建和管理领域对象映射

您可以通过配置字段映射,实现从接口到逻辑,以及到存储层的扩展,而不需要在中心应用中通过建模、生成代码、开发以及部署等流程实现。本文介绍在技术建模平台如何创建和管理领域对象和数据对象的对象映射。说明 目前仅支持对基础数据类型...

创建逻辑模型:维度表

维度是维度建模的基础和灵魂。在维度建模中,将度量称为”事实“,将环境描述为”维度。维度表包含了事实表中指定属性的相关详细信息,常用的维度如日期维度、城市维度等。本文为您介绍如何创建维度表。前提条件 公共层主要完成公共数据的...

导入

DataWorks智能数据建模的导入工具,为您提供了数据模型、数据标准等多种类型的对象模板,您可基于不同模板批量创建相应对象。该功能无需多次重复执行创建操作,即可快速生成多个对象,节省大量时间成本。本文为您介绍如何通过批量导入功能...

产品概述

产品描述 Dataphin是集产品、技术、方法论于一体的智能大数据平台建设引擎,为您提供数据引入、规范定义、建模研发、资产管理、数据服务等全链路智能数据建设及治理服务。功能 描述 Dataphin全托管 全托管又称公共云多租户模式,只需购买...

数据开发概述

数据开发包括编码研发和规范建模。编码研发用于构建计算任务,例如创建SQL代码任务、Shell任务、Python任务、MR任务和Spark任务;规范建模用于构建逻辑化的数据模型。前提条件 若需进行实时开发,需已购买实时研发增值服务并且当前租户已...

主题域

登录 DataWorks控制台,单击左侧导航栏的 数据建模与开发>数据建模,在下拉框中选择对应工作空间后单击 进入数据建模。在 数据建模 页面的顶部菜单栏,单击 数仓规划,默认进入 数仓分层 页面。在 数仓规划 页面的左侧导航栏,单击 应用层>...

工艺模式建模

本文为您介绍工艺模式建模组件。功能说明 工艺模式建模将根据描述变量对案例进行分类,识别不同的状态。然后针对每个状态,找到最可靠的推荐变量,保证评价变量符合预期。计算逻辑原理 工艺模式建模是基于庞大的历史优质案例,每个案例具有...

模型开发概述

当联合建模双方准备好建模样本后,即可进入模型开发阶段,在该阶段中,您可以在多方安全建模控制台,基于准备好的数据进行模型训练。模型开发流程如下:各流程的详细配置请参见以下文档:查看样本信息 创建隐私求交 开始模型训练

云计算资源类型

云计算资源是 企业数据智能平台 中数据建模使用的基础,通过了解数据建模支持的云计算资源类型,并在系统设置模块添加数据建模需要使用的云计算资源类型对应资源,以备在物理化逻辑表和设置对应资源的质量规则时使用。本文介绍数据建模中...

数据建模

数据建模支持ER模型和维度模型两种数据建模方法,帮助用户完成数据模型、逻辑表的设计和管理。用户可对数据模型的层次结构进行管理,并对逻辑表字段进行设计。字段设计需要在数据标准的约束下,通过模型设计过程中引用标准数据元定义,设置...

产品简介

大数据专家服务 大数据专家服务(Bigdata Expert Service)是由阿里云大数据专家基于阿里云多年大数据架构、应用、运维、AI算法建模等最佳实践经验及方法论为用户提供全方位的大数据产品技术、咨询服务及售后专家服务运维保障,帮助用户...

概念建模概述

概念建模是Dataphin提供构建业务模型的工具,您可通过Dataphin的建模能力直接在Dataphin构建业务模型,快速将业务理解落地到中台,实现建模/数仓一体化。同时有利于数据消费者更好理解数据和数据对应的业务。本文为您介绍Dataphin数仓规划...

概念建模概述

概念建模是Dataphin提供构建业务模型的工具,您可通过Dataphin的建模能力直接在Dataphin构建业务模型,快速将业务理解落地到中台,实现建模/数仓一体化。同时有利于数据消费者更好理解数据和数据对应的业务。本文为您介绍Dataphin数仓规划...

数据域

登录 DataWorks控制台,单击左侧导航栏的 数据建模与开发>数据建模,在下拉框中选择对应工作空间后单击 进入数据建模。在 数据建模 页面的顶部菜单栏,单击 数仓规划,默认进入 数仓分层 页面。在 数仓规划 页面的左侧导航栏,单击 公共层>...

创建逻辑模型:明细表

登录 DataWorks控制台,单击左侧导航栏的 数据建模与开发>数据建模,在下拉框中选择对应工作空间后单击 进入数据建模。在 智能数据建模 页面的顶部菜单栏,单击 维度建模,进入 维度建模 页面。创建明细表。在 维度建模 页面,鼠标悬停至 ...

发布模型至引擎

DataWorks支持如下建模方式:可视化建模:创建逻辑模型:维度表、创建逻辑模型:明细表、创建逻辑模型:汇总表、创建逻辑模型:应用表。代码方式建模 导入方式建模 发布模型 维度表、明细表、汇总表、应用表可直接发布物化至绑定的...

业务过程

业务过程是企业在指定的数据域中所执行的业务活动,是数据建模所需要分析的逻辑主体。例如,交易域中可以有加入购物车、下单、支付等业务过程。本文为您介绍如何创建并使用业务过程。前提条件 已根据规划准备好对应数据域,系统已默认提供...

功能发布记录(2022年)

2022.11.25 全部地域 所有DataWorks用户 发布模型至引擎 逆向建模:物理表反向建模 基于模型生成ETL代码 DataWorks智能数据建模支持对模型进行版本管理 DataWorks 智能数据建模>维度建模 新增如下两种功能:支持对模型进行版本管理,只有...

代码模式建模

DataWorks数据建模的设计与实现解耦,在设计过程中,您无需考虑各个大数据引擎的实现方式,建模引擎会根据FML语言定义的Schema去驱动底层各个数据引擎的执行和操作,仅在实际物化(即把设计的逻辑表转换为底层引擎的物理表)阶段,建模引擎...

生成数据库脚本

建模 导航栏中,选择 技术建模>限界上下文。在 限界上下文 页面,单击目标限界上下文名称。在目标限界上下文导航栏中,单击 数据模型。在 数据模型 页面,单击 生成数据库脚本。在 生成数据库脚本 面板,选择脚本信息。在 数据库类型及...

编辑项目领域架构图

领域架构主要用于表示当前项目业务建模设计对领域分层、层级关系以及具体业务领域的划分总览,不仅能提供一张面向管理者或架构师的业务领域整体视图,而且能和具体的业务领域产生联动,实现基本的下钻能力。本文介绍如何编辑项目领域架构图...

算法建模

本文以逻辑回归二分类算法为例,为您介绍如何使用PAI Designer训练模型。前提条件 完成数据可视化,详情请参见 数据可视化。操作步骤 登录 PAI控制台,进入工作流...后续步骤 完成算法建模后,可以对训练模型进行评估,详情请参见 模型评估。
共有38条 < 1 2 3 4 ... 38 >
跳转至: GO
产品推荐
云服务器 安全管家服务 安全中心
这些文档可能帮助您
图计算服务 GraphCompute 风险识别 弹性公网IP 短信服务 人工智能平台 PAI 金融分布式架构
新人特惠 爆款特惠 最新活动 免费试用