数据质量：全流程的质量监控
DataWorks的全流程数据质量监控功能为您提供35种预设表级别、字段级别和自定义的监控模板。数据质量帮助您第一时间感知到源端数据的变更与ETL（Extract Transformation Load）中产生的脏数据，自动拦截问题任务，有效阻断脏数据向下游蔓延...
资产质量概述
数据质量的功能包括质量规则配置、质量监控、调度配置、智能报警、校验治理等。前提条件 已购买资产质量增值服务，详情请参见 开通Dataphin。背景信息 面对各行各业日趋强烈的大数据建设、管理及应用的诉求，Dataphin应用场景的多样性及...
资产质量概述
数据质量的功能包括质量规则配置、质量监控、调度配置、智能报警、校验治理等。前提条件 已购买资产质量增值服务并且当前租户已开通资产质量模块。背景信息 面对各行各业日趋强烈的大数据建设、管理及应用的诉求，Dataphin应用场景的多样性...
DevOps概述
迭代模板提供了自定义研发流程和控制研发流程质量的功能，该功能可以在数据变更、结构设计、SQL审核等所有的工单类型中使用。新建项目。在项目空间内指定参与人员、数据库和迭代模板，合理有效地保障研发流程顺利开展，减少误操作，保护...
配置数据质量监控
基于用户画像分析加工流程，汇总质量监控规则如下：表名 需求明细 ods_raw_log_d 对每日同步的原始日志数据进行表数据非0监控，避免后续无效加工，及时止损。ods_user_info_d 对每日同步的用户信息数据进行表行数非0校验（强规则）和业务...
配置数据质量监控
基于用户画像分析加工流程，汇总质量监控规则如下：表名 需求明细 ods_raw_log_d 对每日同步的原始日志数据进行表数据非0监控，避免后续无效加工，及时止损。ods_user_info_d 对每日同步的用户信息数据进行表行数非0校验（强规则）和业务...
数据质量规则配置流程
本文为您介绍数据质量监控规则的配置流程及生效逻辑，以及规则列表的相关操作。规则配置流程 您可基于表配置单个表的数据质量监控规则，也可基于模板，批量配置多个表的数据质量监控规则，具体如下。基于表配置数据质量监控规则（单个配置...
服务监控概述
完成模型开发和部署后，您可以在多方安全建模控制台，配置模型服务的监控采集规则。节点中内置了采集统计值模块，可以在不泄露原始数据的前提下，向控制台...服务监控流程如下：各流程的详细配置请参见以下文档：配置监控信息 查看报表信息
06物理表质量监控明细
物理表监控明细为您展示物理表的质量监控报告详情，包含质量评分、质量评分规则统计、表质量评分详情、字段质量详情，通过查看物理表维度最新质量评估结果，方便研发运维人员第一时间发现并定位物理表质量问题。本文介绍如何查看物理表监控...
数据质量管理流程
本文为您介绍数据质量管理概念、数据管理流程。数据质量管理是通过划分数据资产等级和分析元数据的应用链路，对不同资产等级的数据采取相对应的质量管理方式。数据质量管理流程图如下。数据管理流程说明如下：分析业务场景，根据应用的影响...
什么是管理控制台
在进行删除、重启等高风险的操作时，触发风险控制流程，全面保证登录和操作的安全性。核心功能 管理控制台的核心功能主要包括但不限于：管理云账号和基础安全设置。获取在阿里云消费的所有账单信息，管理发票、合同等财资业务。全面使用和...
操作流程
新建数据元 通过新建数据元，配置数据元的类型、长度、质量校验函数和引用数据字典，为模型标准化设计及数据治理过程中的质量监控提供规则依据。具体操作，请参见 新建数据元。采用维度+指标的数据标准管理 通常使用维度建模方式创建的数仓...
操作流程
新建数据元 通过新建数据元，配置数据元的类型、长度、质量校验函数和引用数据字典，为模型标准化设计及数据治理过程中的质量监控提供规则依据。具体操作，请参见 新建数据元。采用维度+指标的数据标准管理 通常使用维度建模方式创建的数仓...
数据质量管理流程
数据质量的管理流程包括业务数据资产定级、加工卡点、风险点监控和及时性监控，您可以构建属于自己的数据质量保障体系。数据质量管理的流程图如下。数据质量管理的流程说明如下：分析业务场景，对数据流转链路上的整个依赖关系，进行资产...
数据质量管理流程
数据质量的管理流程包括业务数据资产定级、加工卡点、风险点监控和及时性监控，您可以构建属于自己的数据质量保障体系。数据质量管理的流程图如下。数据质量管理的流程说明如下：分析业务场景，对数据流转链路上的整个依赖关系，进行资产...
操作流程
通过操作流程图及说明，您可以...查看物理表监控明细 通过查看物理表的质量监控报告详情的最新质量评估结果，包含表质量评分详情、字段质量详情等，方便研发运维人员第一时间发现并定位物理表质量问题。具体操作，请参见 查看物理表监控明细。
操作流程
通过操作流程图及说明，您可以...查看物理表监控明细 通过查看物理表的质量监控报告详情的最新质量评估结果，包含表质量评分详情、字段质量详情等，方便研发运维人员第一时间发现并定位物理表质量问题。具体操作，请参见 查看物理表监控明细。
营销活动组件介绍
节点类型分为：开始、营销动作、控制流程、结束。其中营销动作、控制流程分别包含多个组件。配置页面如下图所示，单击 动作（即营销动作）或 控制流程，选择需要的具体组件。营销动作 营销动作是对目标群体执行的动作内容，包含以下几种...
查看并管理治理工作台
若选择永久，建议调整质量监控配置。操作说明 必填项，请填写加入白名单的原因。发起整改 参数 描述 整改范围 支持 当前规则 和 监控对象。当前规则：只会针对当前选择的规则进行整改。监控对象：对所选规则对应的监控对象下的所有异常发起...
查看并管理治理工作台
若选择永久，建议调整质量监控配置。操作说明 必填项，请填写加入白名单的原因。发起整改 参数 描述 整改范围 支持 当前规则 和 监控对象。当前规则：只会针对当前选择的规则进行整改。监控对象：对所选规则对应的监控对象下的所有异常发起...
监控指标
如果您需要了解流程执行情况的统计指标，您可以登录 云监控控制台 查看。目前已提供的指标在流程维度按分钟聚合，描述某地域某个流程的执行情况。具体指标如下。指标名称 单位 指标说明 流程启动次数 count/min 描述一分钟内某个流程的启动...
数据质量风险监控
本教程使用DataWorks数据质量（DQC）功能，完成数仓各层次的数据质量监控。前提条件 首先您需要完成教程 搭建互联网在线运营分析平台，并保证您的DataWorks工作空间创建区域为华东2（上海），详情参见 业务场景与开发流程。您需要完成数据...
数据质量风险监控
本教程使用DataWorks数据质量（DQC）功能，完成数仓各层次的数据质量监控。前提条件 首先您需要完成教程 搭建互联网在线运营分析平台，并保证您的DataWorks工作空间创建区域为华东2（上海），详情参见 业务场景与开发流程。您需要完成数据...
概述
从用户使用角度，函数计算 可分为控制面流程及数据面流程，如下图所示。控制面流程 包括函数权限控制、代码及配置的增删改查，主要包括函数元数据、代码、层和镜像缓存等安全传输及存储。数据面流程 函数的调用流程，调用流程包括接入服务...
概述
从用户使用角度，函数计算 可分为控制面流程及数据面流程，如下图所示。控制面流程 包括函数权限控制、代码及配置的增删改查，主要包括函数元数据、代码、层和镜像缓存等安全传输及存储。数据面流程 函数的调用流程，调用流程包括接入服务...
配置集成管道质量监控
通过离线集成管道质量监控，Dataphin会自动为您监控数据表的质量，如果数据表有质量风险，系统会自动报警，通知告警接收人，帮助您及时了解数据表质量状况。本文为您介绍如何配置质量规则。权限说明 项目开发者支持创建集成任务、配置质量...
使用流程
本文介绍使用TPP个性化算法开发的流程，包括创建实例、开发代码、创建和发布方案、创建和部署场景、访问场景、查看服务监控。流程说明如下：购买和创建实例 用户购买TPP实例，下单后，tpp自动拉起服务集群。开发方案代码 用户编写TPP代码...
配置集成管道质量监控
通过离线集成管道质量监控，Dataphin会自动为您监控数据表的质量，如果数据表有质量风险，系统会自动报警，通知告警接收人，帮助您及时了解数据表质量状况。本文为您介绍如何配置质量规则。权限说明 项目开发者支持创建集成任务、配置质量...
工艺流程页面模板
工艺流程页面模板是组态编辑器中专门为工艺流程监控设计的页面模板。该模板包含了工艺流程监控常用的数据展示方式和功能模块，可以帮助用户快速地搭建工艺流程监控相关的应用场景。使用工艺流程监控页面模板可以遵循以下步骤：登录组态编辑...
功能特性
Serverless 工作流 功能集 功能 功能描述 参考文档 基础功能建设 流程（Flow）云工作流使用YAML格式的流程定义语言来描述和定义流程。执行流程时，云工作流服务会根据流程定义解析并驱动执行相关状态流转。一个流程通常包含若干状态（State...
通过企业监控大盘实现本地日志监控
登录 云监控控制台。在左侧导航栏，选择 云资源监控>应用分组。在 应用分组 页签，单击左上角的 创建应用分组。在 创建应用分组 面板，选择 创建实例方法 为 手动创建，输入 应用分组名称，打开 初始化安装监控插件 开关，选择 报警联系人...
创建业务流程
本文为您介绍如何创建业务流程，在业务流程中创建节点并配置依赖关系。完成创建后，您可以利用数据开发功能，对工作空间的数据进行深入分析和计算。前提条件 开始本操作前，请确保您已经在工作空间中准备好业务数据表 bank_data 和其中的...
通过移动端探测目标站点的网络质量
操作步骤 登录 云监控控制台。在左侧导航栏，选择 网络分析与监控>站点监控。在 监控任务 页签，单击 创建任务。在 创建任务 页面，先选择 移动端（Mobile），再设置移动端站点监控任务的相关信息。基本信息 任务类型 为 HTTP（S）参数 ...
通过PC端探测目标站点的网络质量
操作步骤 登录 云监控控制台。在左侧导航栏，选择 网络分析与监控>站点监控。在 监控任务 页签，单击 创建任务。在 创建任务 页面，先选择 PC端（PC），再设置PC端站点监控任务的相关信息。基本信息 任务类型 为 HTTP（S）参数 描述 任务...
数据质量入门
本文示例配置表数据质量监控规则，保障产出的表数据符合预期，为您介绍数据质量的基本使用。前提条件 根据 数据开发：开发者 文档创建 result_table 节点，及节点产出的 result_table 表。说明 本文均以 result_table 表来演示数据质量的...
引用物理表质量规则
如果配置了质量规则的数据模型在开发环境场景画布中被引用，且场景画布中开启了自动质量规则校验开关，场景画布中会自动生成质量检测节点。当算法运行时，画布中引用的数据质量规则也会自动运行，以检查算法输出数据是否符合要求，可在物理...
OpenEvent概述
数据质量 数据质量校验结果反馈事件 描述：在数据治理模块中，启用了数据质量监控规则后，发送监控规则的校验结果。类型：属于 普通事件，您可以订阅此类事件消息，获知事件状态的实时变化情况。例如，在数据治理的数据质量模块，给某个表...
手动创建监控任务
监控任务管理可针对不同来源的任务进行统一监控任务的配置管理，支持批量创建、手动创建以及通过内置监控端对第三方系统和其他需要监控的任务创建。本文介绍如何手动创建监控任务。前提条件 任务来源处已完成任务配置且任务已运行。已添加...
DataWorks模块使用说明
通过对数据质量规则的高效校验，以及与任务调度流程的紧密结合，可以帮助用户第一时间发现质量问题、有效防止数据质量问题扩散，为业务提供高效、可靠、可信赖的数据。使用流程概览：参考文档：数据质量概述 数据分析 子模块：数据分析 ...
手动创建监控任务
监控任务管理可针对不同来源的任务进行统一监控任务的配置管理，支持批量创建、手动创建以及通过内置监控端对第三方系统和其他需要监控的任务创建。本文介绍如何手动创建监控任务。前提条件 任务来源处已完成任务配置且任务已运行。已添加...
- 产品推荐
- 这些文档可能帮助您