GetMetaTableChangeLog
如果输入的日期校验失败，则系统默认获取当前时间为表变更的开始日期。当输入的变更开始日期和结束日期都校验失败时，则系统自动获取最近30天的表变更记录。EndDate String 否 2020-06-02 00:00:00 表变更的结束日期，格式为yyyy-MM-dd HH:...
创建数据表质量规则
Dataphin支持创建校验数据表的质量规则，提升数据表质量监控的便捷性。本文为您介绍如何配置数据表的质量规则。前提条件 已经添加监控对象才可配置质量规则，如何添加监控对象，请参见 添加监控对象。权限说明 超级管理员、质量管理员支持...
创建数据表质量规则
自定义校验范围：对于无法解析的场景，可以使用自定义校验范围，按照业务日期或者执行日期来指定校验范围表达式。校验范围表达式：为可输入的下拉选择框，支持直接输入需要校验的范围，如 ds='${yyyyMMdd}'；也可以选择内置的校验范围表达...
创建全域数据表质量规则
Dataphin支持创建校验数据表的质量规则，提升数据表质量监控的便捷性。本文为您介绍如何配置全域数据表的质量规则。前提条件 已经添加监控对象才可配置质量规则，如何添加监控对象，请参见 添加监控对象。权限说明 超级管理员、质量管理员...
创建全域数据表质量规则
Dataphin支持创建校验数据表的质量规则，提升数据表质量监控的便捷性。本文为您介绍如何配置全域数据表的质量规则。前提条件 已经添加监控对象才可配置质量规则，如何添加监控对象，请参见 添加监控对象。权限说明 超级管理员、质量管理员...
Dataphin为什么数据质量规则都是开启的校验记录里还是...
问题描述 Dataphin为什么数据质量规则都是开启的校验记录里还是...问题原因 校验记录查询界面默认是当天的记录，需要查询日期和校验日期匹配。解决方案 在校验记录查询操作时按需要查询对应的日期。适用于 Dataphin 当前环境：独立部署2.9.7
增值税发票
返回说明 类别 含义 einvcode 发票代码 einvno 发票号码 einvdate 开票日期 antifakecode 校验码 payername 购买方名称 payerregisterno 购买方纳税人识别号 payeraddresstel 购买方地址电话 payerbankname 购买方开户行及账号 sumamount ...
填报控件
校验 必填：默认该控件为必填选项。输入数据无效时提示文字：有校验条件生效时，该配置项才可生效，比如：勾选 必填 后，若没有选项值填入，则提示已经自定义过的报错文案。样式 输入框显示线框：勾选后，填写人在选中单元格输入值时将显示...
日期范围
使用场景 当页面需要输入一个日期区间，您可以使用 日期范围 组件。使用说明 日期范围 组件通过两个日期来表示一个日期区间。使用示例 从 组件面板 拖拽 日期范围 组件至画布。绑定变量。日期范围 组件需要绑定 List类型的变量。您可按需...
创建指标质量规则
自定义校验范围：对于无法解析的场景，可以使用自定义校验范围，按照业务日期或者执行日期来指定校验范围表达式。校验范围表达式：为可输入的下拉选择框，支持直接输入需要校验的范围，如 ds='${yyyyMMdd}'；也可以选择内置的校验范围表达...
创建指标质量规则
自定义校验范围：对于无法解析的场景，可以使用自定义校验范围，按照业务日期或者执行日期来指定校验范围表达式。校验范围表达式：为可输入的下拉选择框，支持直接输入需要校验的范围，如 ds='${yyyyMMdd}'；也可以选择内置的校验范围表达...
质量规则参数配置
数据表参数配置 数据表规则配置 模板类型 描述 完整性/唯一性 完整性-字段空值校验/字段空字符串校验 唯一性-字段唯一性校验/字段分组个数校验/字段重复值个数校验：校验字段：选择物理表中的需要校验的字段。校验表数据过滤：默认关闭，...
质量规则参数配置
数据表参数配置 数据表规则配置 模板类型 描述 完整性/唯一性 完整性-字段空值校验/字段空字符串校验 唯一性-字段唯一性校验/字段分组个数校验/字段重复值个数校验：校验字段：选择物理表中的需要校验的字段。校验表数据过滤：默认关闭，...
新建及管理质量规则模板
日期：用于对日期有效性进行验证，需要确保校验字段为日期类型（date）。时间戳：用于对时间戳有效性进行验证，需要确保校验字段为时间戳类型（timestamp）。自定义：用于对多种格式进行校验，同时支持使用函数，填写的内容会直接下发到...
新建及管理质量规则模板
日期：用于对日期有效性进行验证，需要确保校验字段为日期类型（date）。时间戳：用于对时间戳有效性进行验证，需要确保校验字段为时间戳类型（timestamp）。自定义：用于对多种格式进行校验，同时支持使用函数，填写的内容会直接下发到...
执行补数据并查看补数据实例（新版）
例如，当前日期为 2024-03-12，业务日期为 2024-03-17，则等实际日期为 2024-03-18（大于业务日期）时，补数据实例便会启动运行。说明 在离线计算中，最常见的是今天处理昨天的数据，此处昨天就是业务日期。在补数据过程中，会根据您选择的...
功能更新动态（2023年）
本文将为您及时同步2023年的Dataphin版本发布信息。2023年11月 对应发布的产品...下游的质量报告和质量治理项，按照实际校验的分区进行拆分，不同的校验分区生成各自独立的质量报告。调度方式新增任务更新的分区，按照代码中实际更新的分区...
文档更新动态（2023年）
新增提交校验详情：校验管道与组件配置是否完整。校验数据源、数据表、密钥、质量监控对象等权限。校验来源表和目标表的重复性。新增Salesforce输入组件，可离线抽取Salesforce实例中的数据。整库迁移新增FTP作为来源库，通过上传并解析...
ListQualityResultsByRule
根据校验规则校验数据源的质量，并查询校验结果。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。请求参数 名称 类型 是否必选 示例值 描述 Action String ...
ListQualityResultsByEntity
如果被校验的业务主体为离线数据，则业务日期通常为执行校验操作的前一天。CheckResult Integer 0 校验结果参数的结果通常与CheckResultStatus一致，取值有以下几种：0：正常 1：橙色告警 2：红色告警 ResultString String test 校验结果的...
配置规则：按模板（批量）
如果被校验的业务主体为离线数据，则业务日期通常为执行校验操作的前一天。CheckResult Integer 2 校验结果。MatchExpression String ds=$[yyyymmdd]分区表达式。CheckerType Integer 0 校验器的类型。ProjectName String autotest 需要...
附录：消息格式
数据质量校验结果反馈事件 dataworks:DqcCheck:DqcCheckFinishedEvent 数据质量校验完成 消息实体格式：数据质量校验完成事件 dataworks:ProjectChange:DeleteProject 租户删除项目空间前置事件 消息实体格式：租户删除项目空间前置事件 ...
进入数据质量概览（新版）
类别 指标 描述 表 已配置规则表数 当前工作空间下，截止到当日（您在概览页面右上角指定的日期）已配置质量校验规则的表数量。质量问题表数 当日质量检测实例运行完成并出现非「通过」状态的表数，包含质量阈值校验不通过及系统校验异常...
票据凭证识别
增值税发票卷票识别 读光OCR增值税发票卷票识别，支持对卷票上包括发票代码、发票号码、开票日期、发票金额、校验码、大写金额、销售方税号、购买方税号等关键字段结构化识别输出。机动车销售统一发票识别 读光OCR机动车统一销售发票识别，...
使用Tapdata Cloud导入MySQL数据
数据校验 打开 数据校验 开关后，任务会自动对同步结果的一致性进行全量校验和增量校验，并会在运行监控页面展示校验不一致的数据行数。重要 当任务符合以下任意一种情况时，即使打开 数据校验 开关，任务也不会进行校验。添加了中间处理...
将Oracle数据同步到表格存储
通过Tapdata Cloud的可视化界面，您可以将Oracle数据实时同步到表格存储（Tablestore）中。前提条件 使用Tapdata Cloud同步Oracle数据到表格存储前，需要完成如下准备工作。...已创建表格存储实例和表。具体操作，请参见 通过控制台使用。...
版本发布说明
发布日期：2023-09-22 大版本：V5.4.17 小版本：16952556 类别 说明 新增&优化 新增支持快速中断扩缩容过程中的校验任务。新增useAffectedRows支持。新增支持自动分区表下 create global index 语法无需指定分区键的功能。分区表建表时新增...
云端运行日志
日志转储到日志服务中后，各业务类型对应的英文字段如下：OTA升级：OTA 数据解析：ScriptParsing 物模型（物模型数据校验、物模型服务调用、物模型消息）：ThingModel 时序数据存储：HotDataStorage 远程配置：RemoteConfig 拓扑关系：...
设备端接收的错误码
6311 传入的参数不符合TSL中日期类型数据的规范。TSL校验时，发现：传入的参数类型和TSL中定义的类型不一致。传入的字符类型不是UTC时间戳的字符格式。6312 传入的参数不符合TSL中结构体类型数据的规范。TSL校验时，发现：传入的参数类型和...
iOS集成
获得离线活体检测SDK后，您可以参考本文指导将SDK集成到您的iOS应用中。前提条件 已获取正确的iOS SDK。说明 iOS SDK与iOS应用包的BundleID绑定。如果您获取的iOS SDK包与iOS应用包的BundleID不一致，请重新...5010 授权过期且日期被修改。
分区表达式介绍
对于不需要限制触发日期，希望每天或者表有新分区的时候，就对指定分区进行校验，这时，建议直接使用业务日期 ds='${yyyyMMdd}'、执行日期 ds='$[yyyyMMdd]'、每月 ds='${yyyyMM}' 的分区。对于希望指定时间才校验的，如每月1号、月末日、...
分区表达式介绍
对于不需要限制触发日期，希望每天或者表有新分区的时候，就对指定分区进行校验，这时，建议直接使用业务日期 ds='${yyyyMMdd}'、执行日期 ds='$[yyyyMMdd]'、每月 ds='${yyyyMM}' 的分区。对于希望指定时间才校验的，如每月1号、月末日、...
日志节点发布说明
发布日期：2024-03-22 版本号：polarx-cdc-kernel-2.3.0_5327694 类别 说明 新增 新增 show full binary logs、show full master status 等binlog相关的运维指令。修复 修复SQL闪回精确匹配失效的问题。发布日期：2024-02-04 版本号：...
质量规则模板类型
数据表/指标模板类型 模板分类 模板说明 完整性 字段空值校验 用于对单字段是否是空值进行校验。字段空字符串校验 用于对单个字段是否是空字符串进行校验。唯一性 字段唯一性校验 用于对单字段唯一值/非唯一值进行校验。字段分组个数校验 ...
质量规则模板类型
数据表/指标模板类型 模板分类 模板说明 完整性 字段空值校验 用于对单字段是否是空值进行校验。字段空字符串校验 用于对单个字段是否是空字符串进行校验。唯一性 字段唯一性校验 用于对单字段唯一值/非唯一值进行校验。字段分组个数校验 ...
消息推送状态码
公共消息推送状态码 苹果推送通道 华为推送通道 小米推送通道 OPPO 推送通道 vivo 推送通道 FCM 推送通道 公共消息推送状态码 状态码 描述 解释-1 WaitingForVerify 等待校验。0 DeviceNotOnlineOrNoResponse 等待设备上线（推送目标设备与...
日期
简介 日期组件用于展示和修改外层数据容器的DATETIME类型字段。属性配置 日期组件属性由以下部分组成：分类 参数 示例 说明 属性 只读 通过设置日期组件为只读状态，可以实现日期组件的不可操作状态。提示文字 编辑日期选择框提示文字，...
开放API 调用和状态码
入参非法 400 参数格式不正确，比如：日期、数字、大小写不正确，长度问题等造成的。特定业务参数校验失败，比如参数内容不符合接口要求、或者JSON和RepeatList格式的入参，不满足接口要求。增加URL、域名、字符串格式合法性校验。账户验证...
配置规则：按表（单表）
同时，还可对质量规则执行订阅、复制、查看分区操作日志、查看上一次校验结果等管理操作。本文为您介绍如何配置表的质量监控规则并进行相关管理操作。背景信息 数据质量监控规则包括基于模板创建的 模板规则，及可⾃定义SQL逻辑的 自定义...
V5.1.x系列实例版本说明
V5.1.22-675 日期 2016.02.23 类别 说明 新增特性 建库输入库名后实时进行校验。共享实例迁移数据库到专享实例，自动刷新RDS白名单。OpenAPI建库刷新RDS白名单。使用RDS高权限账号建库、扩容。升降配过滤掉状态不正常的RDS实例。数据导入...
- 产品推荐
- 这些文档可能帮助您