查看数据源校验记录
数据源校验记录用于记录质量规则校验数据源的结果。本文为您介绍如何查看数据源质量规则的校验记录。数据源校验记录 在Dataphin首页，单击顶部菜单栏的 资产。按照下图操作指引，进入 数据源 校验记录页面。参数 说明 筛选与搜索 您可以...
查看实时元表校验记录
实时元表校验记录用于记录质量规则校验实时元表的结果。本文为您介绍如何查看实时元表质量规则的校验记录。实时元表校验记录 在Dataphin首页，单击顶部菜单栏的 资产。按照下图操作指引，进入 实时元表 校验记录页面。参数 说明 筛选与搜索...
查看实时元表校验记录
实时元表校验记录用于记录质量规则校验实时元表的结果。本文为您介绍如何查看实时元表质量规则的校验记录。实时元表校验记录 在Dataphin首页，单击顶部菜单栏的 资产。按照下图操作指引，进入 实时元表 校验记录页面。参数 说明 筛选与搜索...
存储容量单位包SCU
抵扣顺序 OSS存储费用的抵扣顺序为：地域存储包>中国内地通用存储包＞SCU＞按量计费 抵扣案例 用户A于2021年6月在华东1（杭州）购买了500 GB的 标准-本地冗余存储包 和20 GB的SCU，其6月份在华东1（杭州）地域标准存储（本地冗余）类型文件...
查看Dataphin数据表校验记录
Dataphin数据表校验记录用于记录质量规则校验Dataphin数据表的结果。本文为您介绍如何查看Dataphin数据表质量规则的校验记录。Dataphin数据表校验记录 在Dataphin首页，单击顶部菜单栏的 资产。按照下图操作指引，进入 Dataphin数据表 校验...
查看Dataphin数据表校验记录
Dataphin数据表校验记录用于记录质量规则校验Dataphin数据表的结果。本文为您介绍如何查看Dataphin数据表质量规则的校验记录。Dataphin数据表校验记录 在Dataphin首页，单击顶部菜单栏的 资产。按照下图操作指引，进入 Dataphin数据表 校验...
质量规则参数配置
数据表参数配置 数据表规则配置 模板类型 描述 完整性/唯一性 完整性-字段空值校验/字段空字符串校验 唯一性-字段唯一性校验/字段分组个数校验/字段重复值个数校验：校验字段：选择物理表中的需要校验的字段。校验表数据过滤：默认关闭，...
质量规则参数配置
数据表参数配置 数据表规则配置 模板类型 描述 完整性/唯一性 完整性-字段空值校验/字段空字符串校验 唯一性-字段唯一性校验/字段分组个数校验/字段重复值个数校验：校验字段：选择物理表中的需要校验的字段。校验表数据过滤：默认关闭，...
校验记录概述
校验记录用于记录质量规则校验Dataphin数据表、全域数据表、指标、数据源和实时元表的结果并支持查看每一条质量规则的校验结果。权限说明 超级管理员、质量管理员可查看所有校验记录。项目成员可查看自己所加入的项目的校验记录。普通成员...
校验记录概述
校验记录用于记录质量规则校验Dataphin数据表、全域数据表、指标、数据源和实时元表的结果并支持查看每一条质量规则的校验结果。权限说明 超级管理员、质量管理员可查看所有校验记录。项目成员可查看自己所加入的项目的校验记录。普通成员...
原理架构
本文简单介绍数据同步服务的整个系统架构及基本实现原理。系统架构 数据同步服务的逻辑架构图：全量同步：负责将表数据从源端数据库同步到目的端数据库...T1 小于 T2，因此数据不会漏掉，存储的数据从 T1-1 分钟的位点开始拉取，做一定冗余。
存储类型概述
存储类型对比 对比指标 有地域属性Bucket 无地域属性Bucket 标准存储-本地冗余（LRS）标准存储-同城冗余（ZRS）低频访问-本地冗余（LRS）低频访问-同城冗余（ZRS）归档存储-本地冗余（LRS）归档存储-同城冗余（ZRS）冷归档存储 深度冷归档...
什么是数据校验
数据校验是数据传输服务DTS（Data Transmission Service）提供的用于监控源库与目标库数据差异的功能，支持在不停服的情况下对源库和目标库进行校验，帮助您及时发现数据和结构不一致的问题。优势 全量校验、增量校验和结构校验均支持在...
质量规则模板类型
数据表/指标模板类型 模板分类 模板说明 完整性 字段空值校验 用于对单字段是否是空值进行校验。字段空字符串校验 用于对单个字段是否是空字符串进行校验。唯一性 字段唯一性校验 用于对单字段唯一值/非唯一值进行校验。字段分组个数校验 ...
查看并管理整改流程
重新校验：仅待处理、已忽略可重新校验，发起重新校验后，如果数据质量问题已经处理，可以重新执行校验规则，会按照执行后的校验状态修改治理项状态：校验不通过-未处理，校验通过-已处理。关联知识库文档：规则关联知识后，可在质量规则和...
质量规则模板类型
数据表/指标模板类型 模板分类 模板说明 完整性 字段空值校验 用于对单字段是否是空值进行校验。字段空字符串校验 用于对单个字段是否是空字符串进行校验。唯一性 字段唯一性校验 用于对单字段唯一值/非唯一值进行校验。字段分组个数校验 ...
查看并管理整改流程
重新校验：仅待处理、已忽略可重新校验，发起重新校验后，如果数据质量问题已经处理，可以重新执行校验规则，会按照执行后的校验状态修改治理项状态：校验不通过-未处理，校验通过-已处理。关联知识库文档：规则关联知识后，可在质量规则和...
进入数据质量概览（新版）
数据质量概览为您展示当前工作空间下，需要重点关注的数据质量总览指标、实例运行后触发的质量规则校验状态的趋势及分布情况、TOP质量问题表及质量问题责任人、质量规则覆盖保障情况等，帮助质量负责人快速了解工作空间数据质量整体情况，...
管理数据安全待发布对象
权限校验：若跨租户发布设置中功能权限校验配置为 校验操作人权限，则在导入时校验每个对象在当前目标环境的操作权限；若跨租户发布设置中功能权限校验配置为 忽略权限校验，则跳过权限校验。说明 发布过程中，校验的是根据导入策略替换后...
管理数据安全待发布对象
权限校验：若跨租户发布设置中功能权限校验配置为 校验操作人权限，则在导入时校验每个对象在当前目标环境的操作权限；若跨租户发布设置中功能权限校验配置为 忽略权限校验，则跳过权限校验。说明 发布过程中，校验的是根据导入策略替换后...
新建质量校验函数
当业务需要比较复杂的字段值域校验规则时，系统支持上传自定义函数，用来校验字段的内容规范，通过新建质量校验函数，方便用户在定义数据元或维度属性时进行质量规则引用，以支持后续对字段的质量规则的快速配置和校验。本文以基于资源的...
什么是数据校验
数据校验是数据传输服务DTS（Data Transmission Service）提供的用于监控源库与目标库数据差异的功能，支持在不停服的情况下对源库和目标库进行校验，帮助您及时发现数据和结构不一致的问题。优势 全量校验、增量校验和结构校验均支持在...
新建质量校验函数
当业务需要比较复杂的字段值域校验规则时，系统支持上传自定义函数，用来校验字段的内容规范，通过新建质量校验函数，方便用户在定义数据元或维度属性时进行质量规则引用，以支持后续对字段的质量规则的快速配置和校验。本文以基于资源的...
应用校验
对应接口 ValidateApplication 功能说明 通过此API 对 CADT应用进行校验，需要通过GetApplication获取校验结果。校验功能会对应用中每个资源进行必要的部署前配置合法性检查。部分产品会有产品相关的特殊校验，例如：ECS：库存校验，可以...
查看并管理治理工作台
重新校验：仅重新校验当前选中的异常，发起重新校验后，如果数据质量问题已经处理，可以重新执行校验规则，会按照执行后的校验状态修改治理项状态：校验不通过-未处理，校验通过-已处理。关联知识库文档：规则关联知识后，可在质量规则和...
查看并管理治理工作台
重新校验：仅重新校验当前选中的异常，发起重新校验后，如果数据质量问题已经处理，可以重新执行校验规则，会按照执行后的校验状态修改治理项状态：校验不通过-未处理，校验通过-已处理。关联知识库文档：规则关联知识后，可在质量规则和...
创建指标质量规则
Dataphin支持创建校验指标的质量规则，提升指标质量监控的便捷性。本文为您介绍如何配置指标质量规则。前提条件 已经添加监控对象才可配置质量规则，如何添加监控对象，请参见 添加监控对象。权限说明 超级管理员、质量管理员和指标负责人...
DataCheckConfigure参数说明
fullCheckModel Integer 全量数据校验任务的模式：1：按抽样比例进行校验。2：按行进行校验。fullCheckFixData Boolean 是否补齐数据，取值为 true 或 false，默认值为 false。说明 当取值为 true 时，若目标库有跟原库不一致的数据，则会...
批量创建质量规则
质量校验状态：按照当前规则最近一次执行成功的校验记录校验状态进行打分，校验通过100分，校验不通过0分。合格数据比例：将当前规则最近一次执行成功的校验记录中的正常数据的比例（即正常率）作为分数，如数据格式有效性是80%，那么质量...
批量创建质量规则
质量校验状态：按照当前规则最近一次执行成功的校验记录校验状态进行打分，校验通过100分，校验不通过0分。合格数据比例：将当前规则最近一次执行成功的校验记录中的正常数据的比例（即正常率）作为分数，如数据格式有效性是80%，那么质量...
预留空间
抵扣顺序 相同地域的标准存储（本地冗余）容量费用抵扣顺序：预留空间>SCU>按量付费 抵扣案例 用户A于2023年3月在华东1（杭州）购买了500 GB的 预留空间 和20 GB的SCU，其6月份在华东1（杭州）地域标准存储-本地冗余容量为900 GB，则该用户...
流程管控
涉及的功能模块 运行前校验 提交前校验 发布前校验 流程管控能力引导介绍 数据治理中心 DataWorks的数据治理中心为您内置了多个检查项，您可以根据业务需要选择开启对应的检查项，开启后，后续在涉及到对应操作时即会触发DataWorks的内置...
创建指标质量规则
Dataphin支持创建校验指标的质量规则，提升指标质量监控的便捷性。本文为您介绍如何配置指标质量规则。前提条件 已经添加监控对象才可配置质量规则，如何添加监控对象，请参见 添加监控对象。权限说明 超级管理员、质量管理员和指标负责人...
数据安全
表格存储支持同城冗余功能，可实现多可用区数据容灾，确保数据的高可用性和容灾能力。表格存储支持通过云备份服务对重要数据进行备份，可防止数据误删除或者数据恶意篡改。表格存储支持使用V4签名算法实现对用户密钥的保护，降低用户密钥的...
OSS有几种数据校验方式？
OSS支持ETag、MD5、crc64校验方式，本文为您介绍三者的区别和使用场景。校验方式 使用场景 使用说明 ETag 用于判断资源是否发生了变化。ETag(entity tag)在每个Object生成的时候被创建，用于标识一个Object的内容。对于Put Object请求创建...
创建数据表质量规则
Dataphin支持创建校验数据表的质量规则，提升数据表质量监控的便捷性。本文为您介绍如何配置数据表的质量规则。前提条件 已经添加监控对象才可配置质量规则，如何添加监控对象，请参见 添加监控对象。权限说明 超级管理员、质量管理员支持...
创建数据表质量规则
Dataphin支持创建校验数据表的质量规则，提升数据表质量监控的便捷性。本文为您介绍如何配置数据表的质量规则。前提条件 已经添加监控对象才可配置质量规则，如何添加监控对象，请参见 添加监控对象。权限说明 超级管理员、质量管理员支持...
存储费用
计费项 计费项 计费规则 计费周期 付费方式 标准存储（本地冗余）容量（Storage）按标准存储（本地冗余）类型文件的大小和存储时长计费。按小时计费（账单出账时间通常在当前计费周期结束后，具体出账时间以系统为准）。按量付费：存储费用...
创建全域数据表质量规则
Dataphin支持创建校验数据表的质量规则，提升数据表质量监控的便捷性。本文为您介绍如何配置全域数据表的质量规则。前提条件 已经添加监控对象才可配置质量规则，如何添加监控对象，请参见 添加监控对象。权限说明 超级管理员、质量管理员...
创建全域数据表质量规则
Dataphin支持创建校验数据表的质量规则，提升数据表质量监控的便捷性。本文为您介绍如何配置全域数据表的质量规则。前提条件 已经添加监控对象才可配置质量规则，如何添加监控对象，请参见 添加监控对象。权限说明 超级管理员、质量管理员...
- 产品推荐
- 这些文档可能帮助您