数据质量管理流程
本文为您介绍数据质量管理概念、数据管理流程。数据质量管理是通过划分数据资产等级和分析元数据的应用链路，对不同资产等级的数据采取相对应的质量管理方式。数据质量管理流程图如下。数据管理流程说明如下：分析业务场景，根据应用的影响...
数据质量管理流程
数据质量管理的流程图如下。数据质量管理的流程说明如下：分析业务场景，对数据流转链路上的整个依赖关系，进行资产定级。详情请参见 数据资产定级。在业务系统的数据生成过程中进行卡点校验。详情请参见 离线数据加工卡点校验。对数据风险...
数据质量管理流程
数据质量管理的流程图如下。数据质量管理的流程说明如下：分析业务场景，对数据流转链路上的整个依赖关系，进行资产定级。详情请参见 数据资产定级。在业务系统的数据生成过程中进行卡点校验。详情请参见 离线数据加工卡点。对数据风险点...
管理数据质量待发布对象
查看及管理 数据质量 待发布对象 数据质量待发布对象由 规则模板、质量规则 对象类型组成。您可以根据您的发布需求，选择对应待发布对象类型进行管理或发布。说明 通常情况下，数据质量依赖对象较多且复杂，建议您先发布其他类型对象后，...
管理数据质量待发布对象
查看及管理 数据质量 待发布对象 数据质量待发布对象由 规则模板、质量规则 对象类型组成。您可以根据您的发布需求，选择对应待发布对象类型进行管理或发布。说明 通常情况下，数据质量依赖对象较多且复杂，建议您先发布其他类型对象后，...
管理问题数据
本文为您介绍如何管理数据质量监控过程中从数据表中发现的非预期数据。背景信息 问题数据表 数据质量支持在部分规则校验不通过的情况下，系统自动创建 问题数据表 存储质量规则校验过程中发现的问题数据。问题数据表名生成规则：{监控数据...
监测数据质量
您可使用数据管理DMS的数据质量功能来自定义表或列维度的数据质量规则，并结合任务编排的稽核任务自动检查数据质量，保证数据的一致性、唯一性、充分性等，从而提升二次数据分析与开发的质量。前提条件 目标实例的管控模式为安全协同。更多...
数据质量衡量
在了解保障基于MaxCompute的数据仓库数据质量的方案后，您还需要进一步学习如何制定一套标准度量方案，以及判断质量监控方案...相关工具链接 DataWorks数据质量管理工具，请参见 数据质量概述。DataWorks智能监控工具，请参见 数据质量概述。
产品简介
大数据专家高阶培训 提供针对大数据建设、管理、治理相关的高阶能力培训，涵盖离线/实时数仓体系建设管理、数仓建模管理，数据开发管理，数据安全管理、数据质量管理、数据治理等。大数据售后专家服务 专家运维保障综合服务 针对云上客户...
发布包总览概述
更多信息，请参见 管理数据质量待发布对象。数据安全对象：您可以对数据安全对象执行查看发布信息、发布、查看发布详情操作。更多信息，请参见 管理数据安全待发布对象。变更类型说明 导入发布包文件时，系统将通过以下规则自动识别并标记...
2019年
本文为您介绍了MaxCompute 2019年内容更新的...数据质量评估标准、数据质量管理流程、数据加工过程卡点校验、数据风险点监控、数据质量追溯 2019-05-06 新增安全管理案例执行级别权限控制。新案例 介绍如何实现行级别权限控制。行级别权限控制
功能更新动态（2024年）
新建及管理数据标准 新建及管理标准集 新建和管理标准代码（码表）新建和管理词根 有效映射关系管理 无效映射关系管理 数据质量 质量监控告警配置升级：支持给不同的规则配置不同的告警方式以实现区分告警，告警范围包括所有规则、所有强...
质量评估
质量评估通过用户自定义质量检查计划，根据用户设置的数据质量规则执行面向不同计算资源的质量检查任务，通过数据质量监控报告展现系统整体数据质量概览及多维度细分数据的质量情况。质量评估通过完整性、准确性、一致性、唯一性、时效性、...
数据标准概述
数据标准化清晰定义 数据质量规则、数据的来源和去向、校验规则，提升数据质量。管理方面：通过数据的标准化定义，明确数据的责任主体，为数据安全、数据质量提供保障；统一、标准的数据指标体系为各主题的数据分析提供支持，提升数据处理...
数据标准概述
数据标准化清晰定义 数据质量规则、数据的来源和去向、校验规则，提升数据质量。管理方面：通过数据的标准化定义，明确数据的责任主体，为数据安全、数据质量提供保障；统一、标准的数据指标体系为各主题的数据分析提供支持，提升数据处理...
添加及管理监控对象
本文为您介绍如何添加及管理数据表质量规则。权限说明 超级管理员、质量管理员支持添加监控对象。使用说明 仅Dataphin数据表和全域数据表支持配置质量分权重。说明 监控对象的质量分权重，用于统计项目、数据源、个人等视角的质量分。从...
添加及管理监控对象
本文为您介绍如何添加及管理数据表质量规则。权限说明 超级管理员、质量管理员支持添加监控对象。使用说明 仅Dataphin数据表和全域数据表支持配置质量分权重。说明 监控对象的质量分权重，用于统计项目、数据源、个人等视角的质量分。从...
对接使用CDH与CDP
数据质量规则配置 在DataWorks上使用CDH引擎时，可使用DataWorks的数据质量服务进行数据查、对比、质量监控、SQL扫描和智能报警等功能，数据质量服务的详细操作可参见 数据质量概述。数据地图配置 在DataWorks上使用CDH引擎时，可使用...
权限设置
开启权限后影响如下：DLF的元数据管理，数据探索功能将会受到权限控制，如用户未被授予权限，则无法访问对应元数据和数据。E-MapReduce中如同时开启引擎（如Hive/Spark/Presto/Impala）的权限控制，则通过这些引擎访问数据时，如用户未设置...
MaxCompute湖仓一体
Dataphin即可基于MaxCompute和DLF对湖仓一体的数据进行数据的加工处理（离线研发及规范建模），元数据管理、访问权限及安全管理、数据质量稽核与计算资源的治理。创建MaxCompute计算源并绑定到Dataphin项目中 需要创建MaxCompute计算源，将...
MaxCompute湖仓一体
Dataphin即可基于MaxCompute和DLF对湖仓一体的数据进行数据的加工处理（离线研发及规范建模），元数据管理、访问权限及安全管理、数据质量稽核与计算资源的治理。创建MaxCompute计算源并绑定到Dataphin项目中 需要创建MaxCompute计算源，将...
基于DLF、RDS或Flink、OSS支持Delta Lake或Hudi存储...
背景信息 通常，企业构建和应用数据湖需要经历数据入湖、数据湖存储与管理、数据探索与分析过程。MaxCompute基于阿里云DLF（Data Lake Formation）、RDS（Relational Database Service）或Flink、OSS（Object Storage Service）产品提供了...
Kafka元数据管理
添加Topic 进入Kafka数据管理页。登录 阿里云E-MapReduce控制台。在顶部菜单栏处，根据实际情况选择地域 和资源组。单击上方的 元数据管理 页签。在左侧导航栏，单击 Kafka数据管理。在 Kafka数据管理 页面，单击右上角的 添加Topic。在 ...
新建数据目录
您可以通过新建数据目录，对数据进行分类管理。本文介绍如何新建数据目录。操作步骤 登录 数据资源平台控制台。在页面左上角，单击 图标，选择 协同。在顶部菜单栏，单击 图标，选择目标工作组，单击 资产加工。在左侧导航栏，单击 图标，...
一站式在线数据管理平台DMS
您可以访问 新版数据管理DMS，体验一站式在线数据管理平台。
01创建数据字典并物理化
数据字典帮助平台管理者和数据管理者管控治理后数据的一致性和数据质量，创建并维护逻辑表中使用的数据字典，方便数据元引用数据字典来规范数据元的值域范围，保证关联了字段标准的表及字段可以自动设置数据质量规则，规范数据质量，本章节...
数据管理DMS中服务器监控数据的采集频率
本文对数据管理控制台中服务器监控数据刷新频率进行说明。通过“登录服务器”，进入到服务器管理界面，“实时监控”显示的数据，是每隔5秒左右获取一次数据，如下图。关闭、退出服务器管理界面，会自动停止“实时监控”数据的采集。数据...
数据质量教程概述
数据质量是数据分析结论有效性和准确性的基础。本文为您介绍数据质量保障教程的业务场景以及如何衡量数据质量的高低。前提条件 在开始本教程前，请您首先完成 搭建互联网在线运行分析平台 教程，详情请参见 业务场景与开发流程。业务场景 ...
数据质量教程概述
数据质量是数据分析结论有效性和准确性的基础。本文为您介绍数据质量保障教程的业务场景以及如何衡量数据质量的高低。前提条件 在开始本教程前，请您首先完成 搭建互联网在线运行分析平台 教程，详情请参见 业务场景与开发流程。业务场景 ...
添加处理后数据到数据管理
数据处理后，需要将处理后的数据添加到数据管理中，以便被用于数仓建设、标签管理等数据中台任务。本文以倾斜数据处理后为例，介绍如何添加处理后数据到数据管理。前提条件 已新建数据处理任务，具体操作，请参见 新建数据处理任务。操作...
数据管理DMS高级版如何升级用户数
概述 数据管理DMS高级版如何升级用户数。详细信息 登录 数据管理控制台，查看高级版右侧的信息。如果购买方式是包年包月，显示的是产品到期还有*天，单击天数会弹出升级和续费按钮，然后按照提示操作即可。如果购买方式是按量付费，显示的...
数据管理DMS的碎片率计算公式
本文介绍数据管理DMS的碎片率计算公式。计算公式 DMS的碎片率=（1-（表数据空间+索引空间）/总空间）*10。如图所示：适用于 数据管理DMS
数据库管理
MySQL数据库管理 数据库类型为MySQL系列、MariaDB系列或AnalyticDB MySQL版，详情请参见 支持的数据库类型。登录 数据管理DMS 5.0。在DMS左侧的实例列表中，右键单击目标实例，从弹出的列表中选择 数据库管理。按需执行如下操作。创建数据...
应用场景
数据标准：管理数据标准和构建数据模型，将数据标准贯彻到数据质量分析、保障及检查的全过程中，将散乱的多源异构数据加工成标准、干净的数据资产，确保数据的完整性、一致性、准确性和可用性。数据建模：通过数据建模模块提供的各种数据...
数据管理DMS的数据追踪功能无法追踪到数据
本文解释数据管理DMS的数据追踪功能无法追踪到数据的原因及解决方案。问题描述 数据管理DMS的数据追踪功能无法追踪到数据。问题原因 数据追踪的筛选条件可能选择错误。解决方案 请参考下列步骤进行排查：请检查时间和区域的选择是否正确。...
数据中心
数据中心包含数据管理、数据配置。数据管理 数据管理模块展示并管理用户添加的数据。主要功能包括数据表引入、本地数据导入。数据表 支持用户从已注册的计算资源类型中添加数据表。支持基于已添加的数据查看表信息、表内展示的字段。支持将...
敏感数据审计
数据管理DMS提供的敏感数据审计功能，记录了敏感数据在DMS中的使用情况，可以解决敏感数据异常使用和数据泄露的溯源问题。功能介绍 审计覆盖的功能模块：SQL窗口中的查询与变更、数据结果集导出、数据库导出和普通数据变更。功能入口：安全...
产品优势
数据质量监测：覆盖数据生产、集成、加工到消费的数据质量规则，进行数据质量监测与校验。更多信息，请参见 监测数据质量。SQL审核优化：结合安全规则的SQL审核优化建议，对上传的SQL语句进行审核并提供优化建议，避免无索引或不规范的SQL...
全景视角
背景信息 为提高不同使用场景下的数据治理效率和质量，DataWorks为您提供以下视角：数据管理视角：在数据资产管理、数据安全加固、数据权限管理等数据管理场景下，建议您使用数据管理视角，关注查看数据管理过程中，表的统计数据、安全权限...
管理数据
通过将拥有共同属性的数据资产集中到同一个数据域中，管理员可以高效管理数据资产及资产中的敏感数据。本文介绍首次使用数据域功能的具体操作。应用场景 企业中有较多的数据资产，分别属于不同的部门，需要按部门划分资产以便数据管理员...
- 产品推荐
- 这些文档可能帮助您