大数据平台建设标准-大数据平台建设标准文档介绍内容-阿里云

数据建模

字段设计需要在数据标准的约束下，通过模型设计过程中引用标准数据元定义，设置逻辑表相关标准质量规则，保证不同的逻辑表设计人员按照统一口径进行操作。在数据标准的约束下，保证逻辑表的可持续的维护性及可读性。在数据模型管理模块对...

功能简介

字段设计需要在数据标准的约束下，通过模型设计过程中引用标准数据元定义，设置逻辑表相关标准质量规则，保证不同的逻辑表设计人员按照统一口径进行操作。在数据标准的约束下，保证逻辑表的可持续的维护性及可读性。在数据模型管理模块对...

DataWorks快速入门指引

DataWorks基于MaxCompute、Hologres、EMR、AnalyticDB、CDP等大数据引擎，为数据仓库、数据湖、湖仓一体等解决方案提供统一的全链路大数据开发治理平台，为了便于新用户快速了解DataWorks的数据开发治理操作全流程，DataWorks为您提供了...

功能简介

规范性：数据规范性是指数据集对数据标准的满足程度。质量规则管理质量规则管理页面，查看数仓中配置的全部规则，包括表规则、字段规则、自定义规则。支持对所有的物理表统一配置的规则。支持根据资源类型、逻辑表名称、规则名称、启停...

质量评估

质量评估通过用户自定义质量检查计划，根据用户设置的数据质量规则执行面向不同计算资源的质量检查任务，通过数据质量监控报告展现系统整体数据质量概览及多维度细分数据的质量情况。质量评估通过完整性、准确性、一致性、唯一性、时效性、...

功能简介

通过数据标准的管理功能，模型设计者可通过设计标准数据元素，定义关键业务对象、业务对象属性及值域，规范标准数据字典，制定并管理平台遵循的统一数据标准，帮助平台管理者和数据管理者管控治理后数据的一致性和数据质量。模型标准设计 ...

查看元数据

元数据管理功能主要为您展示当前实例的所有数据库，数据表，分区及各种任务等信息。本文为您介绍如何通过EMR StarRocks Manager查看元数据。前提条件已创建StarRocks实例，详情请参见创建实例。使用限制普通用户无法查看数据库大小、...

创建业务限定

英文名称输入英文名称时，Dataphin将根据输入数据实时匹配数据标准中已配置的词根，您可以选择推荐的词根作为业务实体的英文名称。更多信息，请参见新建和管理词根。英文名称需要满足以下命名规则：仅支持字母、数字或下划线（_）。不能...

创建业务限定

英文名称输入英文名称时，Dataphin将根据输入数据实时匹配数据标准中已配置的词根，您可以选择推荐的词根作为业务实体的英文名称。更多信息，请参见新建和管理词根。英文名称需要满足以下命名规则：仅支持字母、数字或下划线（_）。不能...

Superset（仅对存量用户开放）

使用Superset访问Hive数据库 Superset提供了SQLAlchemy以多种语言支持各种各样的数据库，包括MySQL、Oracle、PostgreSQL和Microsoft SQL Server等关系型数据库，以及Hive、Presto和Druid等大数据查询引擎。这里以E-MapReduce Hadoop集群...

功能简介

字段设计需要在数据标准的约束下，通过模型设计过程中引用标准数据元定义，设置逻辑表相关标准质量规则，保证不同的逻辑表设计人员按照统一口径进行操作。在数据标准的约束下，保证逻辑表的可持续的维护性及可读性。在数据模型管理模块对...

行业模型模版

DataWorks智能数据建模联合具备丰富行业建模经验的数据架构师，总结阿里云百万用户最全面的业务场景，结合阿里巴巴技术创新能力，提供零售电子商务、金融、制造等多个领域的行业模型最佳实践。您可使用该模版快速构建属于您的数据仓库。...

导入概述

为了更好地满足各种不同的业务场景，StarRocks支持多种数据模型，StarRocks中存储的数据需要按照特定的模型进行组织。本文为您介绍数据导入的基本概念、原理、系统配置、不同导入方式的适用场景，以及一些最佳实践案例和常见问题。背景信息...

概述

EMR数据开发于2022年2月21日停止功能更新，2023年9月30日停止全面支持。如果您在2022年2月21日21点前未使用过数据开发功能，推荐您通过EMR Workflow进行...您也可以迁移到大数据开发治理平台DataWorks，详情请参见 EMR数据开发停止更新公告。

服务关联角色

AliyunServiceRoleForCDP应用场景 Cloudera企业数据云平台集群创建及数据源绑定功能需要访问云服务器ECS、专有网络VPC 等云服务的资源时，需要通过服务关联角色AliyunServiceRoleForCDP获取访问权限。AliyunServiceRoleForCDP权限说明 ...

新建和管理审批模板

审批模板支持自定义审批模板，您可以根据业务情况自定义审批模板，本文为您介绍如何新建及管理...后续步骤审批模板创建完成后，您可以在新建标准集或数据权限审批配置时，选择引用审批模板，详情请参见新建和管理标准集数据权限审批配置。

新建和管理审批模板

审批模板支持自定义审批模板，您可以根据业务情况自定义审批模板，本文为您介绍如何新建及管理...后续步骤审批模板创建完成后，您可以在新建标准集或数据权限审批配置时，选择引用审批模板，详情请参见新建和管理标准集数据权限审批配置。

什么是EMR Notebook

EMR Notebook是一个Serverless化的交互式数据分析和探索平台，满足大数据和AI融合下的数据处理需求，为数据工程师、数据分析师和数据科学家提供了可视化的应用程序开发环境。通过EMR Notebook可以完成对SQL、Python、Markdown等多种语言...

大数据AI公共数据集分析

教程简介阿里云DataWorks基于多种大数据引擎，为数据仓库、数据湖、湖仓一体等解决方案提供统一的全链路大数据开发治理平台。本教程通过DataWorks，联合云原生大数据计算服务MaxCompute，使用大数据AI公共数据集（淘宝、飞猪、阿里音乐、...

Github实时数据同步与分析

操作难度易所需时间 55分钟使用的阿里云产品实时数仓Hologres 云原生大数据计算服务 MaxCompute 专有网络VPC 大数据开发治理平台 DataWorks DataV数据可视化所需费用 0元阿里云提供一定额度的资源包供您免费体验，开通后会使用计算...

DataWorks on EMR Serverless StarRocks最佳实践

了解DataWorks on EMR Serverless StarRocks DataWorks作为阿里云一站式大数据开发治理平台，通过数据源对接EMR Serverless StarRocks，可实现EMR Serverless StarRocks的数据集成、作业周期性调度，同时结合StarRocks引擎在数据分析和数据...

准备环境

前提条件 大数据开发治理平台DataWorks：购买DataWorks，详情请参见购买指引。说明因本示例提供的数据资源都在华东2（上海），建议购买时选择地域为华东2（上海）。对象存储OSS：已开通OSS服务，具体步骤，请参见开通OSS服务。步骤一：...

创建AnalyticDB for PostgreSQL数据源

进行数据同步：DataWorks的数据集成模块为您提供读取和写入数据至AnalyticDB for PostgreSQL的能力，您可将其他数据源的数据同步至当前AnalyticDB for PostgreSQL数据源，或将当前AnalyticDB for PostgreSQL数据源的数据同步至其他数据源。...

通过函数计算节点实现GitHub实时数据分析与结果发送

本文以创建标准模式工作空间为例，标准模式和简单模式工作区间区别请参见简单模式和标准模式的区别。新增数据集成资源组并绑定已创建的工作空间。开通云原生大数据计算服务MaxCompute。开通函数计算FC。开通对象存储OSS服务并创建OSS ...

产品服务等级协议

3.赔偿方案 3.1 赔偿标准每个数据资源平台实例按单实例月度服务可用性，按照下表中的标准计算赔偿金额，赔偿方式仅限于用于购买数据资源平台产品的代金券，且赔偿总额不超过未达到服务可用性承诺当月客户支付的月度服务费用的25%...

数据标准

通过设计标准数据元、数据指标、维度和维度属性，对关键业务对象以及属性和值域进行定义，制定并管理平台遵循的统一数据标准，管控数据的一致性和数据质量。模型标准设计逻辑表命名规则：支持对逻辑表命名标准的规范设计，可基于模型命名...

操作流程

采用数据元的数据标准管理根据业务需要，创建数据标准以约束建模规范，根据字段标准设置可以快速创建字段级质量规则，保证字段命名、字段值域遵循统一的标准规范，提升数据质量。流程图流程说明操作说明新建模型目录通过新建模型目录...

购买及登录数据资源平台

使用数据资源平台时，需先购买并登录数据资源平台。本文为介绍如何购买及登录数据资源平台。前提条件已创建阿里云账号，具体操作，请参见创建阿里云账号。背景信息数据资源平台账号登录体系与阿里云保持一致。购买数据资源平台在数据...

操作流程

采用数据元的数据标准管理根据业务需要，创建数据标准以约束建模规范，根据字段标准设置可以快速创建字段级质量规则，保证字段命名、字段值域遵循统一的标准规范，提升数据质量。流程图流程说明操作说明新建模型目录通过新建模型目录...

EMR数据开发停止更新公告

作为一站式大数据开发治理平台，DataWorks沉淀阿里巴巴十多年大数据建设方法论，为客户完成从入湖、建模、开发、调度、治理、安全等全链路数据湖开发治理能力，帮助客户提升数据的应用效率。迁移流程阿里云DataWorks on EMR团队提供了完善...

集成与开发概览

您也可以将这些功能作为基础能力集成到您自己的数据平台中使用，建设属于企业独有的数据平台。产品优势流批一体技术，支持20多种数据实时、离线集成。低代码开发。100%兼容Flink、Spark。支持链路及开发过程中的数据安全。分钟级调度。多...

新建数据字典

数据字典管理支持创建并维护数据模型中使用的数据字典，制定并管理平台遵循的统一数据标准，为数据元、指标、维度的值域设置中引用数据字典提供数据基础，帮助平台管理者和数据管理者管控治理后数据的一致性和数据质量。本文为您介绍如何...

入门概述

快速使用说明准备工作：在使用数据资源平台前，需要完成的准备工作，具体操作，请参见创建阿里云账号和购买及登录数据资源平台。配置租户角色：在系统设置模块中为本账号配置租户角色，具体操作，请参见配置租户角色。新建工作组：在...

到期提醒与停机策略

您将无法正常登录数据资源平台实例，无法创建调度任务实例。停机后系统将暂停所有的任务，但数据资源平台会为您保存数据和资源336小时（14天）。如果您在实例到期后的336小时（14天）内完成续费，可以继续使用数据资源平台实例且数据不会...

新建数据字典

数据字典管理支持创建并维护数据模型中使用的数据字典，制定并管理平台遵循的统一数据标准，为数据元、指标、维度的值域设置中引用数据字典提供数据基础，帮助平台管理者和数据管理者管控治理后数据的一致性和数据质量。本文为您介绍如何...

创建AnalyticDB for MySQL3.0数据源

进行数据同步：DataWorks的数据集成模块为您提供读取和写入数据至AnalyticDB for MySQL3.0的能力，您可将其他数据源的数据同步至当前AnalyticDB for MySQL3.0数据源，或将当前AnalyticDB for MySQL3.0数据源的数据同步至其他数据源。...

有效映射关系管理

数据标准名称：非必填，不用于识别数据标准。名称输入大小写不敏感，将根据资产所属系统是否大小写敏感自动匹配。STEP 3 更新策略针对本次导入的映射关系若和有效映射或无效映射列表中已有的映射关系有冲突，将根据配置的更新策略执行...

有效映射关系管理

数据标准名称：非必填，不用于识别数据标准。名称输入大小写不敏感，将根据资产所属系统是否大小写敏感自动匹配。STEP 3 更新策略针对本次导入的映射关系若和有效映射或无效映射列表中已有的映射关系有冲突，将根据配置的更新策略执行...

快速体验

技术选型数据建模：大数据开发治理平台 DataWorks数据建模（可选），标准版及以上版本可使用，需要单独购买。原始数据存储：云数据库 RDS MySQL（必选），本实验中DataWorks为您提供了阿里云RDS MySQL用于测试，包含了测试数据，无需您...

大数据平台建设标准

新品推荐