ModifyQueryProcessor-修改指定应用版本查询分析规则
当 dryRun=true 时，表示进行查询分析规则校验，默认 dryRun 不传为 false。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 下表是API对应的...
ListQualityResultsByRule
根据校验规则校验数据源的质量，并查询校验结果。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。请求参数 名称 类型 是否必选 示例值 描述 Action String ...
功能更新动态（2024年）
创建数据表质量规则 创建全域数据表质量规则 创建数据源质量规则 创建实时元表规则 创建指标质量规则 批量上传质量规则 数据安全 识别规则新增基于血缘关系自动继承上游分类分级功能，同时结合默认脱敏策略，保障自动继承结果的数据可以...
查看和调整BizWorks相关校验规则提示级别
本文介绍如何查看BizWorks相关校验规则，以及如何调整BizWorks相关校验规则的提示级别。背景信息 BizWorks Toolkit插件的检查规则主要有两类：BizWorks基础规则：例如命名规范、长度等。不符合此类规则，会导致扫描上报失败。此类规则默认...
离线同步任务运维
DataWorks平台将会根据数据质量规则强弱和数据质量规则校验结果决定任务是否由于质量规则校验失败退出，并阻塞下游节点执行，防止脏数据影响范围进一步扩大。数据集成目标端数据源是否支持数据质量监控，及数据质量监控的使用详情请参见 ...
API概览
当 dryRun=true 时，表示进行查询分析规则校验，默认 dryRun 不传为 false。RemoveQueryProcessor 删除指定应用版本的查询分析规则 删除指定 OpenSearch 应用版本的查询分析规则。DescribeQueryProcessor 获取指定应用版本的查询分析规则...
创建安全规则
说明 提交相应功能模块的任务时，系统会自动校验该任务是否符合各检测点的相关规则，只有通过全部规则校验，才允许执行该任务。可选：如果内置的配置、规则不能满足您的需求，您可以自定义新规则。单击 操作 列右侧的 新增规则。在 新增...
任务运行诊断
任务中产出表配置的数据质量规则校验失败（即任务关联的数据质量规则校验失败）。任务被冻结。检查SQL任务代码执行情况 SQL任务可直接在 运行诊断>任务执行 页面查看任务的详细执行日志。DataWorks会将任务下发至对应的引擎执行，若SQL语句...
GetQualityRule
调用GetQualityRule获取校验规则的信息。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。请求参数 名称 类型 是否必选 示例值 描述 Action String 是 ...
使用NimoFullCheck校验迁移数据的一致性
精确校验：轮廓校验通过后会进入精确校验阶段。精确校验从源端拉取数据并解析，如果有唯一索引则根据唯一索引对比MongoDB数据的一致性。如果没有唯一索引则逐一对比两端所有数据（速度较慢）。注意事项 NimoFullCheck仅支持针对全量数据...
创建变更策略
变更策略是根据您已经创建好的变更规则，设置其生效范围和管控方式。支持在单个变更策略中配置多个规则并给每个规则指定不同的管控方式。本文为您介绍如何创建变更策略。背景信息 变更策略、生效时间、管理权限详细说明如下：变更策略：...
创建变更策略
变更策略是根据您已经创建好的变更规则，设置其生效范围和管控方式。支持在单个变更策略中配置多个规则并给每个规则指定不同的管控方式。本文为您介绍如何创建变更策略。背景信息 变更策略、生效时间、管理权限详细说明如下：变更策略：...
Dataphin中如何对表中字段进行校验、质量核查
1.在首页>资产>质量>数据表规则>创建质量规则创建数据表字段质量校验规则。2.设置需要配置的表，点击开始配置。3.选择想要配置的规则，创建质量规则。相关文档 资产质量 适用于 Dataphin 说明：本文是基于Dataphin版本2.9.4-3进行验证。
ListQualityRules
调用ListQualityRules根据分区表达式获取校验规则列表。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。请求参数 名称 类型 是否必选 示例值 描述 Action ...
新建质量校验函数
当业务需要比较复杂的字段值域校验规则时，系统支持上传自定义函数，用来校验字段的内容规范，通过新建质量校验函数，方便用户在定义数据元或维度属性时进行质量规则引用，以支持后续对字段的质量规则的快速配置和校验。本文以基于资源的...
自定义消息渠道支持的元数据
quality_index_kv String 规则校验的关键指标，如总行数：100，正常行数：80，异常行数：20，正常率：80%，异常率：20%。示例：总行数：100；正常行数：80；异常行数：20；正常率：80%；异常率：20%。其他类型的按照校验值和对比值展示，如...
新建质量校验函数
当业务需要比较复杂的字段值域校验规则时，系统支持上传自定义函数，用来校验字段的内容规范，通过新建质量校验函数，方便用户在定义数据元或维度属性时进行质量规则引用，以支持后续对字段的质量规则的快速配置和校验。本文以基于资源的...
数据标准
函数返回整型0/1,当满足校验规则时返回0，不满足校验规则时返回1。数据元、指标和维度属性meta定义说明：{"type":"STRING",/数据元、指标和维度属性类型，INTEGER,DECIMAL,STRING,DATETIME,DATE,TIME,BINARY"size":32,/长度"scale":16,/...
SetDcdnDomainStagingConfig-设置或修改域名配置...
parentid（规则条件 ID，非必填）：通过配置 域名配置功能参数 中的功能函数 condition（规则引擎），可以创建出规则条件（规则条件可以通过识别用户请求中携带的各种参数来匹配和过滤用户请求），每一个规则条件被创建以后都会生成一个...
数据质量风险监控
数据质量支持设置规则订阅，可以针对重要的表及其规则设置订阅，设置订阅后会根据数据质量的校验结果进行告警，从而实现对校验结果的跟踪。单击 订阅管理，设置接收人以及订阅方式。目前支持 邮件通知、邮件和短信通知、钉钉群机器人 和 ...
数据质量风险监控
数据质量支持设置规则订阅，可以针对重要的表及其规则设置订阅，设置订阅后会根据数据质量的校验结果进行告警，从而实现对校验结果的跟踪。单击 订阅管理，设置接收人以及订阅方式。目前支持 邮件通知、邮件和短信通知、钉钉群机器人 和 ...
ListQualityResultsByEntity
调用ListQualityResultsByEntity，根据分区表达式查询历史校验结果。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。请求参数 名称 类型 是否必选 示例值 ...
单元格填报
填写校验规则逻辑表达式，可以使用表格函数和引用填报字段（格式“[填报字段名]”），比如[订单金额]-[成本]>0，并填写报错文案。点击 添加 新增校验规则，点击 删除该校验规则。填报区域管理 在电子表中点击右上角数据填报中的 填报区域...
计费逻辑说明
数据质量规则校验会产生校验SQL并下发到引擎执行，规则运行将会产生引擎费用。该费用在引擎侧收取，不在DataWorks收取，也不会呈现在DataWorks账单中。报警短信和报警电话个数 数据质量产生的报警短信和报警电话均会产生一定费用，详情请...
表格填报
填写校验规则逻辑表达式，可以使用表格函数和引用填报字段（格式“[填报字段名]”），比如[订单金额]-[成本]>0，并填写报错文案。点击 添加 新增校验规则，点击 删除该校验规则。填报区域管理 在电子表中点击右上角数据填报中的 填报区域...
新建及管理数据标准
监控规则：为您展示规则名称、监控类型、添加方式、规则类型、校验规则、大小写敏感信息，您可以单击操作列下的 查看 图标查看该监控规则详情。历史版本：为您展示每个版本的版本号、状态、最后修改人、创建时间、发布时间、上线发布说明...
新建及管理数据标准
监控规则：为您展示规则名称、监控类型、添加方式、规则类型、校验规则、大小写敏感信息，您可以单击操作列下的 查看 图标查看该监控规则详情。历史版本：为您展示每个版本的版本号、状态、最后修改人、创建时间、发布时间、上线发布说明...
离线数据加工卡点校验
校验规则分类如下：代码规范类规则。例如，表命名规范、生命周期设置及表注释等。代码质量类规则。例如，分母为0提醒、NULL值参与计算影响结果提醒及插入字段顺序错误等。代码性能类规则。例如，分区裁剪失效、扫描大表提醒及重复计算检测...
数据集填报
填写校验规则逻辑表达式，可以使用表格函数和引用填报字段（格式“[填报字段名]”），比如[订单金额]-[成本]>0，并填写报错文案。点击 添加 新增校验规则，点击 删除该校验规则。填报区域管理 在电子表中点击右上角数据填报中的 填报区域...
风险识别规则
安全中心支持管理员将风险识别能力以扩展程序的方式注册至DataWorks，作为风险识别规则，用于识别用户操作行为中的风险。当用户在各产品模块中执行预先定义过风险规则的操作时，风险识别规则将判断是否存在风险，如存在风险（即扩展程序...
数据源管理
通过控制数据源执行质量规则的并发度，对数据源进行保护，防止影响正常的业务。本文为您介绍如何设置数据源执行质量规则的并发度。前提条件 已创建数据源，...设置完成后，即可在 数据源管理 页面，查看限速生效时段以及最大并行校验规则数。
数据源管理
通过控制数据源执行质量规则的并发度，对数据源进行保护，防止影响正常的业务。本文为您介绍如何设置数据源执行质量规则的并发度。前提条件 已创建数据源，...设置完成后，即可在 数据源管理 页面，查看限速生效时段以及最大并行校验规则数。
模型规范化检查
模型规范化检查是指在进行数据模型...实时检查选项 用于控制是否启用对模型的实时规范检查：如果开启该选项，在模型设计的过程中，会自动按照规范校验规则对模型进行检查。如果不开启该选项，则需要您手动单击 开始检查，才能执行检查操作。
附录：消息格式
消息实体格式：运维中心告警（基线、事件、任务规则、资源组规则）dataworks:DagStatusChanges:DagStatusChanges 工作流状态变更 消息实体格式：工作流状态变更事件 dataworks:DqcCheck:DqcCheckFeedbackEvent 数据质量校验结果反馈 消息...
名词解释
参数校验 API服务方对入参设置校验规则，由网关根据规则对无效请求进行过滤。常量参数 不需要用户传入的，但是后端服务需要始终接收的常量参数。系统参数 您可以设置网关向您后端抛请求时，附带一些系统参数，如CaClientIp，即请求IP等。...
步骤 yaml 描述语言
input password textarea shell select checkbox 是 无 全部 rules 该item的校验规则，比如 rules:required#表示该字段是必须的-length:#校验输入长度 min:4 max:10-regex:xxxxxx#校验正则 否 无 input/password label 该 item 在表单中...
config配置说明
rules的配置规则如下：{/校验对象的类型，基本都是object type:'object',/校验方法名称，参见后面的表 format:'logicCheck',/校验出错后，前台错误面板上的错误名称 alias:'点击触发动作',/校验出错后，前台错误面板上的错误描述 ...
离线数据加工卡点
校验规则分类如下：代码规范类规则。例如，表命名规范、生命周期设置及表注释等。代码质量类规则。例如，分母为0提醒、NULL值参与计算影响结果提醒及插入字段顺序错误等。代码性能类规则。例如，分区裁剪失效、扫描大表提醒及重复计算检测...
回调鉴权
通过阅读本文，您可以了解鉴权参数、签名计算、接收端校验规则和切换鉴权密钥的详情。使用说明 您可以自行决定是否开启回调鉴权（建议开启），开启或关闭回调鉴权不会影响原有功能。如果开启回调鉴权，回调时会携带所有鉴权相关内容供消息...
配置化规约扫描
上图配置文件中，默认生成的配置项对应的校验规则如下表所示（部分配置项通过 enabled:false 关闭了校验功能）：规则类型 默认提示信息 规则说明 指定包路径下存放DTO的Converter类，Converter类名按指定的后缀命名。DTO的Converter类名不...
- 产品推荐
- 这些文档可能帮助您