引入预制模型
数据板块 导入的数据板块名称。项目名称 导入的项目名称。将同时生成生产项目与开发项目，导入内容均在开发项目内，未发布到生产环境。选择 MaxCompute项目 Dev-Prod项目：填写用于 开发（DEV）项目 和 生产（PROD）项目 的MaxCompute项目...
新建注册上挂指标
建议选择生产数据（即非Dev项目或数据板块产生的数据），以免更新至生产调度运维时，该对象在生产环境不存在导致操作失败，或者导致自动解析依赖关系失败。如您选择生产数据，建议您代码写明该生产数据的项目或数据板块前缀，以免无主键...
发布包总览概述
权限说明如下：发布对象 细分类型 权限说明 规划 公共定义 跨 租户发布使用人 且（为 超级管理员 或 系统管理员）数据板块 跨租户发布使用人 且（为 超级管理员 或 系统管理员 或 数据板块架构师 负责的板块）计算源 跨租户发布使用人 且...
发布包总览概述
权限说明如下：发布对象 细分类型 权限说明 规划 公共定义 跨 租户发布使用人 且（为 超级管理员 或 系统管理员）数据板块 跨租户发布使用人 且（为 超级管理员 或 系统管理员 或 数据板块架构师 负责的板块）计算源 跨租户发布使用人 且...
项目管理概述
② 项目卡片列表 在项目卡片中支持查看项目相关信息外还支持对已创建的项目进行相关的管理操作，包括绑定数据板块、配置项目计算源、配置项目信息、项目的成员管理。同时您可以单击 进入工作区 快速进入当前项目的 开发 工作台。③ 批量...
新建注册上挂指标
建议选择生产数据（即非Dev项目或数据板块产生的数据），以免更新至生产调度运维时，该对象在生产环境不存在导致操作失败，或者导致自动解析依赖关系失败。如您选择生产数据，建议您代码写明该生产数据的项目或数据板块前缀，以免无主键...
添加及管理监控对象
② 列表区 为您展示 指标名称、校验开关、生效/总质量规则数、最近一次校验状态、质量负责人、指标类型、统计粒度、数据板块、所属项目 指标质量规则详细信息。数据源 ① 筛选及搜索区 您可以通过数据源的名称搜索质量规则。您也可以根据 ...
添加及管理监控对象
② 列表区 为您展示 指标名称、校验开关、生效/总质量规则数、最近一次校验状态、质量负责人、指标类型、统计粒度、数据板块、所属项目 指标质量规则详细信息。数据源 ① 筛选及搜索区 您可以通过数据源的名称搜索质量规则。您也可以根据 ...
查看Dataphin数据表校验记录
参数 说明 筛选与搜索 您可以选择 规则异常、执行状态、质量负责人、表类型、数据板块、所属项目 来筛选校验记录；您也可以在搜索框中输入表名称的关键字，快速搜索校验记录。表名称 质量规则校验的数据表名称。强/弱规则异常 强规则异常：...
查看Dataphin数据表校验记录
参数 说明 筛选与搜索 您可以选择 规则异常、执行状态、质量负责人、表类型、数据板块、所属项目 来筛选校验记录；您也可以在搜索框中输入表名称的关键字，快速搜索校验记录。表名称 质量规则校验的数据表名称。强/弱规则异常 强规则异常：...
常见问题
1.售前咨询渠道 尊敬的“准”大数据专家服务用户您好：如果您准备购买阿里云大数据专家服务，但是遇到如服务范围、规格、服务选择等售前方面的问题，您可以通过钉钉与我们联系，您将“当面”获得阿里云大数据专家咨询专家的建议。...
查看指标校验记录
参数 说明 筛选与搜索 您可以选择 规则异常、执行状态、质量负责人、数据板块、所属项目 来筛选校验记录，您也可以在搜索框中输入指标名称的关键字，快速搜索校验记录。指标名称 质量规则校验的指标的名称。强/弱规则异常 强规则异常：强...
查看指标校验记录
参数 说明 筛选与搜索 您可以选择 规则异常、执行状态、质量负责人、数据板块、所属项目 来筛选校验记录，您也可以在搜索框中输入指标名称的关键字，快速搜索校验记录。指标名称 质量规则校验的指标的名称。强/弱规则异常 强规则异常：强...
应用场景
实时数据通道 1.1 接入多种异构数据并投递到下游多种大数据系统 通过数据总线，您可以实时接入APP、WEB、IoT和数据库等产生的异构数据，统一管理，并投递到下游的分析、归档等系统，构建清晰的数据流，让您更好的释放数据的价值。...
管理动态脱敏白名单
支持选择的生效范围为数据板块、表项目、数据表。数据板块：选择数据表的业务板块。选中 全部，即选中所有的业务板块。选中 枚举 后，需配置业务板块，支持多选。选中 自定义 后，请输入正则表达式匹配业务板块，例如：您需要匹配所有名称...
管理动态脱敏白名单
支持选择的生效范围为数据板块、表项目、数据表。数据板块：选择数据表的业务板块。选中 全部，即选中所有的业务板块。选中 枚举 后，需配置业务板块，支持多选。选中 自定义 后，请输入正则表达式匹配业务板块，例如：您需要匹配所有名称...
查看及管理离线集成任务列表
目标数据源/项目/数据板块：通过集成任务的目标数据源/项目/数据板块进行筛选。来源表：通过集成任务的来源表名称进行筛选。说明 通过来源表进行筛选需先选择集成任务的来源数据源/项目/数据板块。目标表：通过集成任务的目标表名称进行...
查看及管理离线集成任务列表
目标数据源/项目/数据板块：通过集成任务的目标数据源/项目/数据板块进行筛选。来源表：通过集成任务的来源表名称进行筛选。说明 通过来源表进行筛选需先选择集成任务的来源数据源/项目/数据板块。目标表：通过集成任务的目标表名称进行...
数据开发概述
双开发模式：Dataphin支持 Basic 和 Dev-Prod 的数据开发模式：Basic 项目绑定了 Basic 数据板块，系统支持 规范建模 功能。Basic 项目绑定了 Prod 数据板块，则系统不支持 规范建模 功能，仅支持 数据处理 和 即席查询 功能。Dev 项目支持...
快速体验
DataWorks为您提供智能建模、数据清洗、周期调度运维、数据治理等一站式大数据开发管理能力，本文以一个零售电商行业的数仓搭建实验为例，为您介绍DataWorks在数仓搭建过程中的技术选型、技术流程以及流程实现，帮助您深入了解阿里云...
什么是DataWorks
DataWorks基于MaxCompute、Hologres、EMR、AnalyticDB、CDP等大数据引擎，为数据仓库、数据湖、湖仓一体等解决方案提供统一的全链路大数据开发治理平台。从2009年起，DataWorks不断沉淀阿里巴巴大数据建设方法论，支撑数据中台建设，同时与...
用户组权限管理
③ 列表区 为您展示 表名、表类型、数据板块、所属项目、资源负责人、权限类型、授权时间、到期时间 信息。④ 操作区 您可以对数据表执行 查看表授权详情、交还、续期 操作。查看表授权详情：可查看表级权限和字段字权限详情，请参见 数据...
用户组权限管理
③ 列表区 为您展示 表名、表类型、数据板块、所属项目、资源负责人、权限类型、授权时间、到期时间 信息。④ 操作区 您可以对数据表执行 查看表授权详情、交还、续期 操作。查看表授权详情：可查看表级权限和字段字权限详情，请参见 数据...
数据开发概述
双开发模式：Dataphin支持 Basic 和 Dev-Prod 的数据开发模式：Basic 项目绑定了 Basic 数据板块，系统支持 规范建模 功能。Basic 项目绑定了 Prod 数据板块，则系统不支持 规范建模 功能，仅支持 数据处理 和 即席查询 功能。Dev 项目支持...
发展历程
关键性里程碑 2009年9月，ODPS（即现在的MaxCompute）大数据平台飞天项目正式启动。2010年10月，阿里巴巴集团自主研发的第一代云计算平台稳定运行。2013年8月，平台的单集群规模已达到5000台。2014年7月，平台开始对外提供服务，完全替换...
应用场景
数据分析业务 云数据库 Memcache 版搭配大数据计算服务 MaxCompute。实现对大数据的分布式分析处理，适用于商业分析、挖掘等大数据处理场景。通过数据集成服务可自助实现数据在云数据库 Memcache 版与 MaxCompute 间的同步，简化数据操作...
技术架构选型
本教程中使用阿里云大数据产品MaxCompute配合DataWorks，完成整体的数据建模和研发流程。完整的技术架构图如下图所示。其中，DataWorks的数据集成负责完成数据的采集和基本的ETL。MaxCompute作为整个大数据开发过程中的离线计算引擎。...
资产权限审计
③ 列表区 为您展示数据对象的名称、表环境、最高涉密等级（需开通资产安全功能）、数据板块、项目、权限账号、账号类型、权限类型、操作范围、有效期、数据负责人信息。最高涉密等级：为您展示当前记录涉及字段的最高分级。查看字段详情：...
资产权限审计
③ 列表区 为您展示数据对象的名称、表环境、最高涉密等级（需开通资产安全功能）、数据板块、项目、权限账号、账号类型、权限类型、操作范围、有效期、数据负责人信息。最高涉密等级：为您展示当前记录涉及字段的最高分级。查看字段详情：...
查看识别规则运行记录
③ 列表区 为您展示表名称、扫描状态、数据板块、所属项目、采样更新信息，同时您可以单击 操作 列下的查看 图标或者 表名称 查看字段任务识别信息，详情请参见 查看任务识别详情-字段。查看任务识别详情-字段 当该字段在当前执行任务中...
查看识别规则运行记录
③ 列表区 为您展示表名称、扫描状态、数据板块、所属项目、采样更新信息，同时您可以单击 操作 列下的查看 图标或者 表名称 查看字段任务识别信息，详情请参见 查看任务识别详情-字段。查看任务识别详情-字段 当该字段在当前执行任务中...
IoT数据自动化同步至云端解决方案
大数据分析是大数据完成数据价值化的重要手段之一，而进行大数据分析的第一步是让数据成功上云。解决方案 IoT数据自动化同步至云端解决方案主要包括存储原始数据和同步数据至分析系统两部分。IoT设备大量的数据通常以半结构化的形式存储。...
技术架构选型
本教程中使用阿里云大数据产品MaxCompute配合DataWorks，完成整体的数据建模和研发流程。完整的技术架构图如下图所示。其中，DataWorks的数据集成负责完成数据的采集和基本的ETL。MaxCompute作为整个大数据开发过程中的离线计算引擎。...
创建并管理业务实体
前提条件 在开始执行操作前，请确认您已完成数据板块主题域的创建。具体操作请参见 创建主题域。创建业务对象仅支持超级管理员、系统管理员或板块架构师进行操作。若无权限请配置 用户角色和权限 后在进行操作。创建业务实体 在Dataphin...
创建并管理业务实体
前提条件 在开始执行操作前，请确认您已完成数据板块主题域的创建。具体操作请参见 创建主题域 创建业务对象仅支持超级管理员、系统管理员或板块架构师进行操作。若无权限请配置 用户角色和权限 后在进行操作。创建业务实体 在Dataphin首页...
离线数仓构建流程概述
步骤一：准备工作 规划数仓 数仓规划是数据建设中的蓝图，在您开始数据开发前，需要完成数据仓库的规划，数仓规划配置包括：创建数据板块和主题域、计算源、数据源、项目及项目中的成员。步骤二：规划数仓 数据集成 将创建好的数据源集成至...
离线数仓构建流程概述
步骤一：准备工作 规划数仓 数仓规划是数据建设中的蓝图，在您开始数据开发前，需要完成数据仓库的规划，数仓规划配置包括：创建数据板块和主题域、计算源、数据源、项目及项目中的成员。步骤二：规划数仓 数据集成 将创建好的数据源集成至...
创建API数据源
板块架构师配置请参见 创建数据板块。项目管理员配置请参见 操作步骤。操作步骤 请参见 数据源管理入口，进入数据源管理页面。按照下图指引，进入 新建数据源 对话框。在 新建数据源 对话框的 半结构化存储 区域，选择 API。如果您最近使用...
创建API数据源
板块架构师配置请参见 创建数据板块。项目管理员配置请参见 添加项目成员。操作步骤 请参见 数据源管理入口，进入数据源管理页面。按照下图指引，进入 新建数据源 对话框。在 新建数据源 对话框的 半结构化存储 区域，选择 API。如果您最近...
DataWorks on EMR数据安全方案
在大数据领域，阿里云为企业用户提供了一整套数据安全方案，包含用户认证、数据权限、大数据作业管理体系等。本文以联合使用DataWorks与EMR为例，为您介绍DataWorks on EMR场景下的数据安全方案。背景信息 DataWorks on EMR目前支持LDAP...
- 产品推荐
- 这些文档可能帮助您