校验物模型数据
在物联网平台为产品定义物模型后，设备上报物模型数据时，物联网平台将按设置的数据校验方式，根据物模型定义进行数据校验。本文介绍数据校验的三种类型。重要 若产品的 数据格式 为 透传/自定义，该产品下设备与物联网平台进行物模型数据...
查看全域数据表校验记录
全域数据表校验记录用于记录质量规则校验全域数据表的结果。本文为您介绍如何查看全域数据表质量规则的校验记录。全域数据表校验记录 在Dataphin首页，单击顶部菜单栏的 资产。按照下图操作指引，进入 全域数据表 校验记录页面。参数 说明 ...
查看全域数据表校验记录
全域数据表校验记录用于记录质量规则校验全域数据表的结果。本文为您介绍如何查看全域数据表质量规则的校验记录。全域数据表校验记录 在Dataphin首页，单击顶部菜单栏的 资产。按照下图操作指引，进入 全域数据表 校验记录页面。参数 说明 ...
查看数据源校验记录
数据源校验记录用于记录质量规则校验数据源的结果。本文为您介绍如何查看数据源质量规则的校验记录。数据源校验记录 在Dataphin首页，单击顶部菜单栏的 资产。按照下图操作指引，进入 数据源 校验记录页面。参数 说明 筛选与搜索 您可以...
查看数据源校验记录
数据源校验记录用于记录质量规则校验数据源的结果。本文为您介绍如何查看数据源质量规则的校验记录。数据源校验记录 在Dataphin首页，单击顶部菜单栏的 资产。按照下图操作指引，进入 数据源 校验记录页面。参数 说明 筛选与搜索 您可以...
产品架构
阿里云验证码提供滑动验证、无痕验证、智能验证三种验证方式。通过生物特征判定操作计算机的是人还是机器，取代传统验证方式。滑动验证 滑动验证系统间的交互流程如下图所示。以下是滑动验证系统间的交互流程说明。提交滑动行为。该操作由...
流程管控
运行前校验 提交前校验 发布前校验 流程管控能力引导介绍 数据治理中心 DataWorks的数据治理中心为您内置了多个检查项，您可以根据业务需要选择开启对应的检查项，开启后，后续在涉及到对应操作时即会触发DataWorks的内置校验逻辑对当前...
什么是数据校验
数据校验是数据传输服务DTS（Data Transmission Service）提供的用于监控源库与目标库数据差异的功能，支持在不停服的情况下对源库和目标库进行校验，帮助您及时发现数据和结构不一致的问题。优势 全量校验、增量校验和结构校验均支持在...
进入数据质量概览（新版）
数据质量概览为您展示当前工作空间下，需要重点关注的数据质量总览指标、实例运行后触发的质量规则校验状态的趋势及分布情况、TOP质量问题表及质量问题责任人、质量规则覆盖保障情况等，帮助质量负责人快速了解工作空间数据质量整体情况，...
查看实时元表校验记录
实时元表校验记录用于记录质量规则校验实时元表的结果。本文为您介绍如何查看实时元表质量规则的校验记录。实时元表校验记录 在Dataphin首页，单击顶部菜单栏的 资产。按照下图操作指引，进入 实时元表 校验记录页面。参数 说明 筛选与搜索...
查看实时元表校验记录
实时元表校验记录用于记录质量规则校验实时元表的结果。本文为您介绍如何查看实时元表质量规则的校验记录。实时元表校验记录 在Dataphin首页，单击顶部菜单栏的 资产。按照下图操作指引，进入 实时元表 校验记录页面。参数 说明 筛选与搜索...
数据质量入门
步骤二：创建质量规则 根据业务需求，创建校验表数据的质量规则。步骤三：试跑质量规则 运行创建的规则，测试验证规则的正确性。步骤四：质量规则关联调度节点 通过关联调度节点，定义质量规则触发的方式及时间。当调度节点执行后，将会...
应用
使用API对应用进行操作主要有以下几个能力：基于模板创建应用-CreateApplication 基于CADT上官方模板或私有模板创建新的应用 应用校验-ValidateApplication 对应用下的资源输入的合法性进行校验，异步执行，校验结果调用GetApplication获取...
校验记录概述
校验记录用于记录质量规则校验Dataphin数据表、全域数据表、指标、数据源和实时元表的结果并支持查看每一条质量规则的校验结果。权限说明 超级管理员、质量管理员可查看所有校验记录。项目成员可查看自己所加入的项目的校验记录。普通成员...
校验记录概述
校验记录用于记录质量规则校验Dataphin数据表、全域数据表、指标、数据源和实时元表的结果并支持查看每一条质量规则的校验结果。权限说明 超级管理员、质量管理员可查看所有校验记录。项目成员可查看自己所加入的项目的校验记录。普通成员...
什么是数据校验
数据校验是数据传输服务DTS（Data Transmission Service）提供的用于监控源库与目标库数据差异的功能，支持在不停服的情况下对源库和目标库进行校验，帮助您及时发现数据和结构不一致的问题。优势 全量校验、增量校验和结构校验均支持在...
应用校验
对应接口 ValidateApplication 功能说明 通过此API 对 CADT应用进行校验，需要通过GetApplication获取校验结果。校验功能会对应用中每个资源进行必要的部署前配置合法性检查。部分产品会有产品相关的特殊校验，例如：ECS：库存校验，可以...
配置数据质量规则去噪
当任务触发质量规则校验时，您可以使用去噪管理功能，对当前工作空间内，数据质量规则校验异常的数据不触发报警，且不阻塞任务运行（任务不会因为数据质量校验不通过而失败退出）。前提条件 已创建数据质量校验规则，详情请参见 配置规则：...
跨租户发布设置
跨租户发布设置用于配置跨租户发布包文件的基础设置及发布流程校验设置。本文为您介绍如何配置跨租户发布设置。前提条件 在您开始跨租户发布前，您需要在环境中，使用 超级管理员或系统管理员 设置跨租户发布使用人。具体操作，请参见 添加...
跨租户发布设置
跨租户发布设置用于配置跨租户发布包文件的基础设置及发布流程校验设置。本文为您介绍如何配置跨租户发布设置。前提条件 在您开始跨租户发布前，您需要在环境中，使用 超级管理员或系统管理员 设置跨租户发布使用人。具体操作，请参见 添加...
DataCheckConfigure参数说明
fullCheckModel Integer 全量数据校验任务的模式：1：按抽样比例进行校验。2：按行进行校验。fullCheckFixData Boolean 是否补齐数据，取值为 true 或 false，默认值为 false。说明 当取值为 true 时，若目标库有跟原库不一致的数据，则会...
OSS有几种数据校验方式？
OSS支持ETag、MD5、crc64校验方式，本文为您介绍三者的区别和使用场景。校验方式 使用场景 使用说明 ETag 用于判断资源是否发生了变化。ETag(entity tag)在每个Object生成的时候被创建，用于标识一个Object的内容。对于Put Object请求创建...
创建机器人
创建一个新机器人。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。请求参数 名称 类型 是否必选 示例值 描述 Action String 是 CreateRobot 系统规定参数...
数据质量概述
避免任务产出不符合预期的问题数据，影响正常使用和业务决策。同时也能显著降低问题处理的时间成本，避免任务重新运行带来的资源费用浪费。费用说明 数据质量规则运行产生的费用由两部分组成：DataWorks相关收费 根据数据质量规则实例数...
物理化质量校验函数
您可以通过对已创建的质量校验函数进行物理化操作，将质量校验函数存储至对应的云计算资源中，供数据元、指标、维度使用。本文介绍如何物理化质量校验函数。前提条件 已存在质量校验函数，具体操作，请参见 新建质量校验函数。操作步骤 ...
资产质量概述
因业务系统的原始数据的规范性无法得以保障，所以Dataphin需要定义数据分析的质量，以满足资产质量的时效性、准确性、完整性、一致性、有效性，助您真正能够依赖数据进行经营决策。数据质量流程引导 数据质量流程引导帮助您从（可选）配置...
02创建质量校验函数并物理化
创建质量校验函数，方便用户在定义数据元或维度属性时进行质量规则引用，以支持后续对字段的质量规则的快速配置和校验，本章节介绍如何创建质量校验函数。前提条件 已新建工作组“信息中心(xxzx)”，具体操作，请参见 新建工作组。已在工作...
资产质量概述
因业务系统的原始数据的规范性无法得以保障，所以Dataphin需要定义数据分析的质量，以满足资产质量的时效性、准确性、完整性、一致性、有效性，助您真正能够依赖数据进行经营决策。数据质量流程引导 数据质量流程引导帮助您从（可选）配置...
创建变更策略
您可以通过以下方式圈选校验范围：表达式配置：您可以选择自定义添加或引用系统规则，您可以单击 规则数配置指南 查看自定义配置的规则。自定义编码：您可以单击 说明文档，查看自定义编码的规则。配置完成后，单击 提交。完成变更策略创建...
创建变更策略
您可以通过以下方式圈选校验范围：表达式配置：您可以选择自定义添加或引用系统规则，您可以单击 规则数配置指南 查看自定义配置的规则。自定义编码：您可以单击 说明文档，查看自定义编码的规则。配置完成后，单击 提交。完成变更策略创建...
物理化质量校验函数
您可以通过对已创建的质量校验函数进行物理化操作，将质量校验函数存储至对应的云计算资源中，供数据元、指标、维度使用。本文介绍如何物理化质量校验函数。前提条件 已存在质量校验函数，具体操作，请参见 新建质量校验函数。操作步骤 ...
日期
表单校验 开启表单校验 表单校验功能总开关，在校验不通过时在组件下方展示错误信息，并阻止提交对象。校验类型 开启表单校验后，可选择校验类型，包括必填项、未来时间、过去时间、自定义。其中，未来时间可以接受当前时间点（精确到秒）...
操作流程
采用维度+指标的数据标准管理 通常使用维度建模方式创建的数仓会采用维度+指标的数据标准管理，结合企业业务划分设计业务域，通过业务域选择，可以快速找到不同业务域中的维度和指标信息。操作流程图 流程说明 操作 说明 新建模型目录 通过...
功能特性
数据迁移 数据迁移功能帮助您实现同构或异构数据源之间的数据迁移，适用于数据上云迁移、阿里云内部跨实例数据迁移、数据库拆分扩容等业务场景 功能集 功能 功能描述 参考文档 同构迁移 逻辑迁移 支持同构数据库间的数据迁移。自建MySQL...
管理MFA
云SSO管理员可以根据需要，启用全局MFA校验或启用单个云SSO用户的MFA校验。云SSO管理员 配置全局MFA、配置用户MFA 2 添加MFA设备。云SSO用户首次登录云SSO用户门户时，添加MFA设备，然后进行MFA校验。云SSO用户 添加第一个MFA设备 本文主要...
操作流程
采用维度+指标的数据标准管理 通常使用维度建模方式创建的数仓会采用维度+指标的数据标准管理，结合企业业务划分设计业务域，通过业务域选择，可以快速找到不同业务域中的维度和指标信息。操作流程图 流程说明 操作 说明 新建模型目录 通过...
UpdateQualityRule
调用UpdateQualityRule更新校验规则的信息。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。请求参数 名称 类型 是否必选 示例值 描述 Action String 是 ...
数据上云及校验
本文介绍闪电立方III设备迁移完成后并成功下电后，归还设备、数据上云和迁移结果校验的步骤。前提条件 数据已全部迁移至闪电立方设备中，并已完成停止任务和关机下电的操作。归还设备 执行以下命令，查看job_status.log文件，确认任务状态...
数据库迁移
数据库迁移功能通过产品化解决方案的封装，实现数据库迁移、校验和清理的闭环操作。本文介绍如何通过创建工单实现数据库迁移。前提条件 支持的数据库类型：RDS MySQL、PolarDB MySQL版 和ECS自建MySQL。说明 来源库和目标库的数据库类型...
查看质量校验函数
本文介绍如何查看质量校验函数的函数名称、函数标识和云计算资源等信息。前提条件 已创建质量校验函数，具体操作，请参见 新建质量校验函数。操作步骤 登录 数据资源平台控制台。在页面左上角，单击 图标，选择 协同。在顶部菜单栏，单击 ...
- 产品推荐
- 这些文档可能帮助您