数据质量管理流程
本文为您介绍数据质量管理概念、数据管理流程。数据质量管理是通过划分数据资产等级和分析元数据的应用链路，对不同资产等级的数据采取相对应的质量管理方式。数据质量管理流程图如下。数据管理流程说明如下：分析业务场景，根据应用的影响...
数据质量管理流程
数据质量管理的流程图如下。数据质量管理的流程说明如下：分析业务场景，对数据流转链路上的整个依赖关系，进行资产定级。详情请参见 数据资产定级。在业务系统的数据生成过程中进行卡点校验。详情请参见 离线数据加工卡点校验。对数据风险...
数据质量管理流程
数据质量管理的流程图如下。数据质量管理的流程说明如下：分析业务场景，对数据流转链路上的整个依赖关系，进行资产定级。详情请参见 数据资产定级。在业务系统的数据生成过程中进行卡点校验。详情请参见 离线数据加工卡点。对数据风险点...
管理数据质量待发布对象
查看及管理 数据质量 待发布对象 数据质量待发布对象由 规则模板、质量规则 对象类型组成。您可以根据您的发布需求，选择对应待发布对象类型进行管理或发布。说明 通常情况下，数据质量依赖对象较多且复杂，建议您先发布其他类型对象后，...
管理数据质量待发布对象
查看及管理 数据质量 待发布对象 数据质量待发布对象由 规则模板、质量规则 对象类型组成。您可以根据您的发布需求，选择对应待发布对象类型进行管理或发布。说明 通常情况下，数据质量依赖对象较多且复杂，建议您先发布其他类型对象后，...
管理问题数据
本文为您介绍如何管理数据质量监控过程中从数据表中发现的非预期数据。背景信息 问题数据表 数据质量支持在部分规则校验不通过的情况下，系统自动创建 问题数据表 存储质量规则校验过程中发现的问题数据。问题数据表名生成规则：{监控数据...
监测数据质量
您可使用数据管理DMS的数据质量功能来自定义表或列维度的数据质量规则，并结合任务编排的稽核任务自动检查数据质量，保证数据的一致性、唯一性、充分性等，从而提升二次数据分析与开发的质量。前提条件 目标实例的管控模式为安全协同。更多...
数据质量衡量
在了解保障基于MaxCompute的数据仓库数据质量的方案后，您还需要进一步学习如何制定一套标准度量方案，以及判断质量监控方案...相关工具链接 DataWorks数据质量管理工具，请参见 数据质量概述。DataWorks智能监控工具，请参见 数据质量概述。
发布包总览概述
更多信息，请参见 管理数据质量待发布对象。数据安全对象：您可以对数据安全对象执行查看发布信息、发布、查看发布详情操作。更多信息，请参见 管理数据安全待发布对象。变更类型说明 导入发布包文件时，系统将通过以下规则自动识别并标记...
产品简介
大数据专家高阶培训 提供针对大数据建设、管理、治理相关的高阶能力培训，涵盖离线/实时数仓体系建设管理、数仓建模管理，数据开发管理，数据安全管理、数据质量管理、数据治理等。大数据售后专家服务 专家运维保障综合服务 针对云上客户...
功能更新动态（2024年）
新建及管理数据标准 新建及管理标准集 新建和管理标准代码（码表）新建和管理词根 有效映射关系管理 无效映射关系管理 数据质量 质量监控告警配置升级：支持给不同的规则配置不同的告警方式以实现区分告警，告警范围包括所有规则、所有强...
2019年
本文为您介绍了MaxCompute 2019年内容更新的...数据质量评估标准、数据质量管理流程、数据加工过程卡点校验、数据风险点监控、数据质量追溯 2019-05-06 新增安全管理案例执行级别权限控制。新案例 介绍如何实现行级别权限控制。行级别权限控制
质量评估
质量评估通过用户自定义质量检查计划，根据用户设置的数据质量规则执行面向不同计算资源的质量检查任务，通过数据质量监控报告展现系统整体数据质量概览及多维度细分数据的质量情况。质量评估通过完整性、准确性、一致性、唯一性、时效性、...
添加及管理监控对象
本文为您介绍如何添加及管理数据表质量规则。权限说明 超级管理员、质量管理员支持添加监控对象。使用说明 仅Dataphin数据表和全域数据表支持配置质量分权重。说明 监控对象的质量分权重，用于统计项目、数据源、个人等视角的质量分。从...
添加及管理监控对象
本文为您介绍如何添加及管理数据表质量规则。权限说明 超级管理员、质量管理员支持添加监控对象。使用说明 仅Dataphin数据表和全域数据表支持配置质量分权重。说明 监控对象的质量分权重，用于统计项目、数据源、个人等视角的质量分。从...
数据标准概述
数据标准化清晰定义 数据质量规则、数据的来源和去向、校验规则，提升数据质量。管理方面：通过数据的标准化定义，明确数据的责任主体，为数据安全、数据质量提供保障；统一、标准的数据指标体系为各主题的数据分析提供支持，提升数据处理...
数据标准概述
数据标准化清晰定义 数据质量规则、数据的来源和去向、校验规则，提升数据质量。管理方面：通过数据的标准化定义，明确数据的责任主体，为数据安全、数据质量提供保障；统一、标准的数据指标体系为各主题的数据分析提供支持，提升数据处理...
对接使用CDH与CDP
数据质量规则配置 在DataWorks上使用CDH引擎时，可使用DataWorks的数据质量服务进行数据查、对比、质量监控、SQL扫描和智能报警等功能，数据质量服务的详细操作可参见 数据质量概述。数据地图配置 在DataWorks上使用CDH引擎时，可使用...
MaxCompute湖仓一体
Dataphin即可基于MaxCompute和DLF对湖仓一体的数据进行数据的加工处理（离线研发及规范建模），元数据管理、访问权限及安全管理、数据质量稽核与计算资源的治理。创建MaxCompute计算源并绑定到Dataphin项目中 需要创建MaxCompute计算源，将...
MaxCompute湖仓一体
Dataphin即可基于MaxCompute和DLF对湖仓一体的数据进行数据的加工处理（离线研发及规范建模），元数据管理、访问权限及安全管理、数据质量稽核与计算资源的治理。创建MaxCompute计算源并绑定到Dataphin项目中 需要创建MaxCompute计算源，将...
阶段二：数据安全防护措施及策略增强建设
在DataWorks中，数据质量的管理流程包括业务的 数据资产定级、加工卡点、风险点监控 和 及时性监控。同时，智能监控为您提供如下功能：支持用户定义任务优先级与任务承诺完成时间。及时捕捉重要任务（例如，高优先级任务、部分基线上的任务...
发布包总览概述
根据对象之间的依赖关系，建议的发布顺序为：公共定义->研发->安全分类分级->数据标准（词根、码表目录、码表、标准集目录、标准集、公共标准属性、标准模板）->数据质量（规则模板）->数据标准（数据标准、落标映射规则）->数据质量（质量...
功能简介
资产注册 资产注册功能是 数据资源平台 资产管理的基础，可快速锁定待管理数据资产的范围。针对支持管理的数据表类型，实现资产信息注册自动化。在工作组中注册存储计算资源后，系统自动执行元数据信息扫描，并完成数据资产运营，为后续...
配置集成管道质量监控
质量管理员、数据源/表的质量负责人和超级管理员支持在集成任务中创建质量规则并发布。新建离线管道质量监控 在Dataphin首页，单击顶部菜单栏的 研发。按照下图指引进入 新建质量规则 对话框，配置质量规则，监测数据表的质量（配置质量...
配置集成管道质量监控
质量管理员、数据源/表的质量负责人和超级管理员支持在集成任务中创建质量规则并发布。新建离线管道质量监控 在Dataphin首页，单击顶部菜单栏的 研发。按照下图指引进入 新建质量规则 对话框，配置质量规则，监测数据表的质量（配置质量...
功能简介
资产注册 资产注册功能是 企业数据智能平台 资产管理的基础，可快速锁定待管理数据资产的范围。针对支持管理的数据表类型，实现资产信息注册自动化。在工作组中注册存储计算资源后，系统自动执行元数据信息扫描，并完成数据资产运营，为...
运营
资产注册 资产注册功能是数据资源平台资产管理的基础，可快速锁定待管理数据资产的范围。针对支持管理的数据表类型，实现资产信息注册自动化。在工作组中注册存储计算资源后，系统自动执行元数据信息扫描，并完成数据资产发现。同时自动...
功能更新动态（2023年）
新建和管理数据标准 新建及管理标准集 新建及管理标准模板 数据质量 质量报告支持选择全表分区。两表字段统计值一致性比较支持选择Left Join、Right Join、Inner Join、Full Join等多种关联方式。支持为Dataphin表和全域数据表监控对象配置...
数据资产管理
本文介绍如何通过DMS的数据资产管理功能对 云原生数据仓库AnalyticDB MySQL版 集群中的元数据、数据血缘、数据质量进行统一管理。背景信息 AnalyticDB MySQL版 中包含了大量对内对外极具价值或核心的数据（这里不仅指数字，还包含业务逻辑...
DataWorks On CDP/CDH使用说明
您可在DataWorks中注册CDH及CDP集群，基于业务需求进行相关任务开发、调度、数据地图（元数据管理）和数据质量等一系列的数据开发和治理操作。使用限制 仅支持使用独享调度资源组运行CDH或CDP集群任务。仅支持在DataWorks注册CDH5.16.2、...
数据风险点监控
DQC还提供了历史校验结果的管理，方便数据质量的分析和定级。通过配置DQC的数据质量校验规则，可以实现在数据处理过程中进行自动的数据质量监控。DQC可以监控数据质量并报警，但它不对数据产出进行处理，需要报警接收人判断如何处理。DQC...
DataWorks产品安全能力介绍
数据质量规则：支持管理员配置数据质量规则并关联生产任务，确保每日产出的结果数据无缺失、无污染、准确有效并可用于支撑业务决策，保障数据的完整性（Integrity）与可用性（Availability）。智能监控规则：支持管理员为重要的任务优先...
离线同步能力说明
表数据质量监控：支持对同步后的数据进行数据质量监控，目前仅部分数据库类型支持配置数据质量监控规则。详情请参见：数据质量概述。开发和生产隔离：同一个名称的数据源存在开发环境和生产环境两套配置，配置数据同步任务时会使用开发环境...
应用场景
数据标准：管理数据标准和构建数据模型，将数据标准贯彻到数据质量分析、保障及检查的全过程中，将散乱的多源异构数据加工成标准、干净的数据资产，确保数据的完整性、一致性、准确性和可用性。数据建模：通过数据建模模块提供的各种数据...
操作指南
您可以在 PolarDB 控制台创建和管理集群/实例、管理数据库、查看资源监控信息、备份或恢复数据、同步或迁移数据等。相关文档请参考下表：数据库引擎 文档 PolarDB MySQL版 管理集群 管理数据库 数据迁移 数据同步 备份与恢复 性能监控 其他...
获取数据
数据是可视化的原材料，本文档为您介绍获取春节期间全国的空气质量数据的方法。您可以从空气检测官网上，自行获取全国空气质量历史数据。本示例中，采用了2017年1月1日至2017年2月2日，全国1497个监测点的数据。
快速体验
数据治理 使用DataWorks的数据地图、数据质量、数据保护伞等功能，实现查看管理元数据、监控数据质量、敏感数据展示脱敏等。生成数据API 通过DataWorks的 数据服务 功能，将数据表快速生成API，并发布至网关统一管理，供第三方服务使用。...
文档更新动态（2023年）
更新说明 新建和管理数据标准 新建及管理标准集 新建及管理标准模板 资产质量-质量监控-质量规则 质量报告支持选择全表分区。两表字段统计值一致性比较支持选择Left Join、Right Join、Inner Join、Full Join等多种关联方式。支持为...
数据中心
数据中心包含数据管理、数据配置。数据管理 数据管理模块展示并管理用户添加的数据。主要功能包括数据表引入、本地数据导入。数据表 支持用户从已注册的计算资源类型中添加数据表。支持基于已添加的数据查看表信息、表内展示的字段。支持将...
用户角色和权限
质量管理员 拥有创建数据表、数据源等资源的质量规则的权限，查看生成的数据质量报告。板块角色 板块架构师 拥有业务板块信息设置，包括基本信息更新、业务信息更新等权限。业务负责人 当前没有实质性的操作权限。负责业务板块数据的业务...
- 产品推荐
- 这些文档可能帮助您