查看数据校验详情

本文介绍如何查看数据传输服务DTS(Data Transmission Service)数据校验任务的详情。前提条件 已创建并配置数据校验任务,详情请参见 配置数据校验。注意事项 在DTS同步或迁移实例中配置的校验任务,支持在实例详情和校验任务列表查看;...

配置数据校验

本文介绍如何使用数据传输服务DTS(Data Transmission Service)配置数据校验任务,帮助您监控源库与目标库数据的差异,以便及时发现数据不一致的问题。前提条件 若您需要在DTS实例中配置 全量校验 功能,DTS实例的 任务步骤 需勾选 全量...

校验接口

接口校验页面展示了当前接口所有适用组件的接口校验状态,包括校验通过、校验失败、未校验校验中四种状态。对于校验中的组件,可中断校验。一旦退出页面或中断校验,则校验中的组件将不再运行。对于校验失败的组件,可将鼠标悬浮在状态...

管理数据标准待发布对象

流程校验:为您展示权限校验、依赖校验、重名校验、发布校验。说明 由于不同数据标准可能依赖了标准模板的不同版本,因此所有在当前目标环境不存在的版本均需要进行发布。发布顺序按照版本号从小到大进行,但是每个版本的校验流程独立执行...

数据校验计费方式

按抽样比例进行HASH校验校验模式计费标准与源数据库实例的地域、目标数据库实例的地域、校验的数据量(含单次校验的数据量和校验的次数)等因素有关,详情请参见下表。重要 实际费用请以购买页面和账单为准。数据迁移实例中的全量校验...

校验物模型数据

在物联网平台为产品定义物模型后,设备上报物模型数据时,物联网平台将按设置的数据校验方式,根据物模型定义进行数据校验。本文介绍数据校验的三种类型。重要 若产品的 数据格式 为 透传/自定义,该产品下设备与物联网平台进行物模型数据...

查看指标校验记录

指标校验记录用于记录质量规则校验指标的结果。本文为您介绍如何查看指标质量规则的校验记录。指标校验记录 在Dataphin首页,单击顶部菜单栏的 资产。按照下图操作指引,进入 指标 校验记录页面。参数 说明 筛选与搜索 您可以选择 规则异常...

查看全域数据表校验记录

全域数据表校验记录用于记录质量规则校验全域数据表的结果。本文为您介绍如何查看全域数据表质量规则的校验记录。全域数据表校验记录 在Dataphin首页,单击顶部菜单栏的 资产。按照下图操作指引,进入 全域数据表 校验记录页面。参数 说明 ...

查看数据源校验记录

数据源校验记录用于记录质量规则校验数据源的结果。本文为您介绍如何查看数据源质量规则的校验记录。数据源校验记录 在Dataphin首页,单击顶部菜单栏的 资产。按照下图操作指引,进入 数据源 校验记录页面。参数 说明 筛选与搜索 您可以...

查看实时元表校验记录

实时元表校验记录用于记录质量规则校验实时元表的结果。本文为您介绍如何查看实时元表质量规则的校验记录。实时元表校验记录 在Dataphin首页,单击顶部菜单栏的 资产。按照下图操作指引,进入 实时元表 校验记录页面。参数 说明 筛选与搜索...

查看实时元表校验记录

实时元表校验记录用于记录质量规则校验实时元表的结果。本文为您介绍如何查看实时元表质量规则的校验记录。实时元表校验记录 在Dataphin首页,单击顶部菜单栏的 资产。按照下图操作指引,进入 实时元表 校验记录页面。参数 说明 筛选与搜索...

查看Dataphin数据表校验记录

Dataphin数据表校验记录用于记录质量规则校验Dataphin数据表的结果。本文为您介绍如何查看Dataphin数据表质量规则的校验记录。Dataphin数据表校验记录 在Dataphin首页,单击顶部菜单栏的 资产。按照下图操作指引,进入 Dataphin数据表 校验...

质量规则参数配置

数据表参数配置 数据表规则配置 模板类型 描述 完整性/唯一性 完整性-字段空值校验/字段空字符串校验 唯一性-字段唯一性校验/字段分组个数校验/字段重复值个数校验校验字段:选择物理表中的需要校验的字段。校验表数据过滤:默认关闭,...

什么是数据校验

数据校验是数据传输服务DTS(Data Transmission Service)提供的用于监控源库与目标库数据差异的功能,支持在不停服的情况下对源库和目标库进行校验,帮助您及时发现数据和结构不一致的问题。优势 全量校验、增量校验和结构校验均支持在...

校验记录概述

校验记录用于记录质量规则校验Dataphin数据表、全域数据表、指标、数据源和实时元表的结果并支持查看每一条质量规则的校验结果。权限说明 超级管理员、质量管理员可查看所有校验记录。项目成员可查看自己所加入的项目的校验记录。普通成员...

什么是数据校验

数据校验是数据传输服务DTS(Data Transmission Service)提供的用于监控源库与目标库数据差异的功能,支持在不停服的情况下对源库和目标库进行校验,帮助您及时发现数据和结构不一致的问题。优势 全量校验、增量校验和结构校验均支持在...

质量规则模板类型

数据表/指标模板类型 模板分类 模板说明 完整性 字段空值校验 用于对单字段是否是空值进行校验。字段空字符串校验 用于对单个字段是否是空字符串进行校验。唯一性 字段唯一性校验 用于对单字段唯一值/非唯一值进行校验。字段分组个数校验 ...

查看并管理整改流程

重新校验:仅待处理、已忽略可重新校验,发起重新校验后,如果数据质量问题已经处理,可以重新执行校验规则,会按照执行后的校验状态修改治理项状态:校验不通过-未处理,校验通过-已处理。关联知识库文档:规则关联知识后,可在质量规则和...

质量规则模板类型

数据表/指标模板类型 模板分类 模板说明 完整性 字段空值校验 用于对单字段是否是空值进行校验。字段空字符串校验 用于对单个字段是否是空字符串进行校验。唯一性 字段唯一性校验 用于对单字段唯一值/非唯一值进行校验。字段分组个数校验 ...

查看并管理整改流程

重新校验:仅待处理、已忽略可重新校验,发起重新校验后,如果数据质量问题已经处理,可以重新执行校验规则,会按照执行后的校验状态修改治理项状态:校验不通过-未处理,校验通过-已处理。关联知识库文档:规则关联知识后,可在质量规则和...

进入数据质量概览(新版)

数据质量概览为您展示当前工作空间下,需要重点关注的数据质量总览指标、实例运行后触发的质量规则校验状态的趋势及分布情况、TOP质量问题表及质量问题责任人、质量规则覆盖保障情况等,帮助质量负责人快速了解工作空间数据质量整体情况,...

管理数据安全待发布对象

权限校验:若跨租户发布设置中功能权限校验配置为 校验操作人权限,则在导入时校验每个对象在当前目标环境的操作权限;若跨租户发布设置中功能权限校验配置为 忽略权限校验,则跳过权限校验。说明 发布过程中,校验的是根据导入策略替换后...

新建质量校验函数

当业务需要比较复杂的字段值域校验规则时,系统支持上传自定义函数,用来校验字段的内容规范,通过新建质量校验函数,方便用户在定义数据元或维度属性时进行质量规则引用,以支持后续对字段的质量规则的快速配置和校验。本文以基于资源的...

新建质量校验函数

当业务需要比较复杂的字段值域校验规则时,系统支持上传自定义函数,用来校验字段的内容规范,通过新建质量校验函数,方便用户在定义数据元或维度属性时进行质量规则引用,以支持后续对字段的质量规则的快速配置和校验。本文以基于资源的...

应用校验

对应接口 ValidateApplication 功能说明 通过此API 对 CADT应用进行校验,需要通过GetApplication获取校验结果。校验功能会对应用中每个资源进行必要的部署前配置合法性检查。部分产品会有产品相关的特殊校验,例如:ECS:库存校验,可以...

查看并管理治理工作台

重新校验:仅重新校验当前选中的异常,发起重新校验后,如果数据质量问题已经处理,可以重新执行校验规则,会按照执行后的校验状态修改治理项状态:校验不通过-未处理,校验通过-已处理。关联知识库文档:规则关联知识后,可在质量规则和...

创建数据表质量规则

Dataphin支持创建校验数据表的质量规则,提升数据表质量监控的便捷性。本文为您介绍如何配置数据表的质量规则。前提条件 已经添加监控对象才可配置质量规则,如何添加监控对象,请参见 添加监控对象。权限说明 超级管理员、质量管理员支持...

创建全域数据表质量规则

Dataphin支持创建校验数据表的质量规则,提升数据表质量监控的便捷性。本文为您介绍如何配置全域数据表的质量规则。前提条件 已经添加监控对象才可配置质量规则,如何添加监控对象,请参见 添加监控对象。权限说明 超级管理员、质量管理员...

批量创建质量规则

质量校验状态:按照当前规则最近一次执行成功的校验记录校验状态进行打分,校验通过100分,校验不通过0分。合格数据比例:将当前规则最近一次执行成功的校验记录中的正常数据的比例(即正常率)作为分数,如数据格式有效性是80%,那么质量...

DataCheckConfigure参数说明

fullCheckModel Integer 全量数据校验任务的模式:1:按抽样比例进行校验。2:按行进行校验。fullCheckFixData Boolean 是否补齐数据,取值为 true 或 false,默认值为 false。说明 当取值为 true 时,若目标库有跟原库不一致的数据,则会...

批量创建质量规则

质量校验状态:按照当前规则最近一次执行成功的校验记录校验状态进行打分,校验通过100分,校验不通过0分。合格数据比例:将当前规则最近一次执行成功的校验记录中的正常数据的比例(即正常率)作为分数,如数据格式有效性是80%,那么质量...

流程管控

涉及的功能模块 运行前校验 提交前校验 发布前校验 流程管控能力引导介绍 数据治理中心 DataWorks的数据治理中心为您内置了多个检查项,您可以根据业务需要选择开启对应的检查项,开启后,后续在涉及到对应操作时即会触发DataWorks的内置...

OSS有几种数据校验方式?

OSS支持ETag、MD5、crc64校验方式,本文为您介绍三者的区别和使用场景。校验方式 使用场景 使用说明 ETag 用于判断资源是否发生了变化。ETag(entity tag)在每个Object生成的时候被创建,用于标识一个Object的内容。对于Put Object请求创建...

ListQualityResultsByRule

根据校验规则校验数据源的质量,并查询校验结果。调试 您可以在OpenAPI Explorer中直接运行该接口,免去您计算签名的困扰。运行成功后,OpenAPI Explorer可以自动生成SDK代码示例。请求参数 名称 类型 是否必选 示例值 描述 Action String ...

物理化质量校验函数

您可以通过对已创建的质量校验函数进行物理化操作,将质量校验函数存储至对应的云计算资源中,供数据元、指标、维度使用。本文介绍如何物理化质量校验函数。前提条件 已存在质量校验函数,具体操作,请参见 新建质量校验函数。操作步骤 ...

跨租户发布设置

跨租户发布设置用于配置跨租户发布包文件的基础设置及发布流程校验设置。本文为您介绍如何配置跨租户发布设置。前提条件 在您开始跨租户发布前,您需要在环境中,使用 超级管理员或系统管理员 设置跨租户发布使用人。具体操作,请参见 添加...

02创建质量校验函数并物理化

创建质量校验函数,方便用户在定义数据元或维度属性时进行质量规则引用,以支持后续对字段的质量规则的快速配置和校验,本章节介绍如何创建质量校验函数。前提条件 已新建工作组“信息中心(xxzx)”,具体操作,请参见 新建工作组。已在工作...

权限申请

Owner申请校验 实例申请权限校验 库权限申请校验 表权限申请校验 可编程对象校验 敏感字段申请校验 行权限申请校验 模板库(可选)安全规则模板库中提供了大量规则模板,选择了 检测点 以后,您可以从 模板库 中按需加载规则模板。...
共有98条 < 1 2 3 4 ... 98 >
跳转至: GO
产品推荐
云服务器 安全管家服务 安全中心
这些文档可能帮助您
弹性公网IP 短信服务 人工智能平台 PAI 物联网平台 对象存储 金融分布式架构
新人特惠 爆款特惠 最新活动 免费试用