Dataphin中质量监控数据表没有日志信息
问题描述 本文主要介绍Dataphin中质量监控数据表没有日志信息。问题原因 客户反馈在质量监控数据表没有日志信息。解决方案 数据表的质量校验规则触发的前提条件是Dataphin有任务更新表或分区数据。适用于 Dataphin
通过表格存储控制台查看监控数据
通过表格存储控制台，您可以查看实例的每秒请求次数、行数统计、流量统计、CapacityUnit等监控数据，查看数据表、二级索引表或者多元索引的平均访问延迟、每秒请求次数等监控数据以及多元索引的存储量、预留读CU、行数等计量数据。...
配置数据质量监控
本文为您介绍如何通过数据质量实现表数据监控。前提条件 在进行本实验前，请确保已完成 采集数据 和 加工数据。已通过数据集成将存储于RDS MySQL的用户基本信息（ods_user_info_d）同步至MaxCompute的ods_user_info_d表。已通过数据集成将...
管理问题数据
您可在 数据质量>任务查询 页面，通过查看目标表数据质量监控规则的 执行日志，查看问题数据采集过程。详情请参见：查看监控任务。方式二：通过调度任务列表查看。当数据质量监控规则关联调度节点后，您可进入调度节点的 运行详情 页面，在...
数据质量入门
本文示例配置表数据质量监控规则，保障产出的表数据符合预期，为您介绍数据质量的基本使用。前提条件 根据 数据开发：开发者 文档创建 result_table 节点，及节点产出的 result_table 表。说明 本文均以 result_table 表来演示数据质量的...
06物理表质量监控明细
物理表监控明细为您展示物理表的质量监控报告详情，包含质量评分、质量评分规则统计、表质量评分详情、字段质量详情，通过查看物理表维度最新质量评估结果，方便研发运维人员第一时间发现并定位物理表质量问题。本文介绍如何查看物理表监控...
监控与日志
资源数据 监控 通过表格存储控制台支持对表格存储实例、表、多元索引进行数据监控。不同类型的资源支持查看的监控数据不同。更多信息，请参见 通过表格存储控制台查看监控数据。实例监控数据 在实例的 实例监控 页签，查看实例的每秒请求...
配置数据质量监控
本文为您介绍如何通过数据质量实现表数据监控。前提条件 在进行本实验前，请确保已完成 采集数据 和 加工数据。已通过数据集成将存储于RDS MySQL的用户基本信息（ods_user_info_d）同步至MaxCompute的ods_user_info_d表。已通过数据集成将...
创建数据表质量规则
说明 适用于表的修改任务不固定或者是重点监控表，每次变更都需要监控的情况。固定任务触发调度：仅在指定的任务完成后，执行配置的质量规则。支持选择指定SQL、离线管道、Python、Shell、Datax、Spark_jar、Hive_MR、数据库SQL节点的任务...
热线监控或热线报表数据为空
租户在开通热线坐席并配置好号码正常使用后，发现热线报表或热线监控界面数据为空，请提供租户id，并告知热线监控或报表数据为空，提交工单给我们同学
创建数据表质量规则
说明 适用于表的修改任务不固定或者是重点监控表，每次变更都需要监控的情况。固定任务触发调度：仅在指定的任务完成后，执行配置的质量规则。支持选择指定SQL、离线管道、Python、Shell、Datax、Spark_jar、Hive_MR、数据库SQL节点的任务...
配置集成管道质量监控
通过离线集成管道质量监控，Dataphin会自动为您监控数据表的质量，如果数据表有质量风险，系统会自动报警，通知告警接收人，帮助您及时了解数据表质量状况。本文为您介绍如何配置质量规则。权限说明 项目开发者支持创建集成任务、配置质量...
配置集成管道质量监控
通过离线集成管道质量监控，Dataphin会自动为您监控数据表的质量，如果数据表有质量风险，系统会自动报警，通知告警接收人，帮助您及时了解数据表质量状况。本文为您介绍如何配置质量规则。权限说明 项目开发者支持创建集成任务、配置质量...
配置规则：按表（单表）
数据质量支持按照数据表配置质量监控规则，用来监控表数据是否符合要求，自动拦截问题任务，阻断脏数据向下游蔓延，保障产出的表数据符合预期。规则配置完成后，您可先试跑该规则，确保质量规则的配置符合预期。同时，还可对质量规则执行...
文档更新动态（2023年）
更新说明 编辑器代码提效 新建离线物理表 数据源功能优化 针对 MySQL、PolarDB-x、PolarDB、AnalyticDB for MySQL、AnalyticDB for PostgreSQL、TiDB、GoldenDB、StarRocks、PostgreSQL、GreenPlum、SQL Server、Vertica、SAP Hana、DB2、...
功能更新动态（2023年）
编辑器代码提效 新建离线物理表 数据源 针对 MySQL、PolarDB-x、PolarDB、AnalyticDB for MySQL、AnalyticDB for PostgreSQL、TiDB、GoldenDB、StarRocks、PostgreSQL、GreenPlum、SQL Server、Vertica、SAP Hana、DB2、OceanBase、...
离线集成概述
质量监控：通过配置离线集成管道的质量监控，Dataphin会自动为您监控数据表的质量，如果数据表有质量风险，系统会自动报警，通知告警接收人，帮助您及时了解数据表质量状况。具体操作，配置集成管道质量监控。相关：离线管道的相关对象，指...
离线集成概述
质量监控：通过配置离线集成管道的质量监控，Dataphin会自动为您监控数据表的质量，如果数据表有质量风险，系统会自动报警，通知告警接收人，帮助您及时了解数据表质量状况。具体操作，配置集成管道质量监控。相关：离线管道的相关对象，指...
运维中心概述
任务产出的表数据监控：数据质量 您可以使用 数据质量 功能对周期实例、补数据实例、测试实例产出的表数据进行监控。周期任务在生产环境通过自动调度或手动触发来运行，分别产生周期实例、补数据实例和测试实例，您可以对 周期任务 设置...
文档更新动态（2024年）
更新说明 上传资源及引用 数据开发-规范建模/编码研发 开发环境下，逻辑表数据预览变量参数值优化，本地变量的参数值默认填充参数配置中已配置的值，日期时间全局变量取当前最新值。开发环境下运行计算任务以及对逻辑表进行数据预览时，...
数据质量风险监控
监控表行数及空值数据。表行数和空值数据的监控规则配置与ODS层相同。监控表行数波动率。参数 描述 规则名称 请输入规则名称。您可以自定义。强弱 设置为强规则。强弱规则说明如下：如果设置强规则，红色异常报警并阻塞下游任务节点，橙色...
数据质量风险监控
监控表行数及空值数据。表行数和空值数据的监控规则配置与ODS层相同。监控表行数波动率。参数 描述 规则名称 请输入规则名称。您可以自定义。强弱 设置为强规则。强弱规则说明如下：如果设置强规则，红色异常报警并阻塞下游任务节点，橙色...
创建全域数据表质量规则
当规则模板选择 一致性/两表字段统计值一致性比较、一致性/跨源两表字段统计值一致性比较 时，可选择是否开启 对比表数据过滤，开启后可配置对比表的过滤条件或分区过滤或普通数据过滤，过滤条件将会直接追加至校验SQL中。规则校验 数据...
创建全域数据表质量规则
当规则模板选择 一致性/两表字段统计值一致性比较、一致性/跨源两表字段统计值一致性比较 时，可选择是否开启 对比表数据过滤，开启后可配置对比表的过滤条件或分区过滤或普通数据过滤，过滤条件将会直接追加至校验SQL中。规则校验 数据...
数据质量：全流程的质量监控
DataWorks的全流程数据质量监控功能为您提供35种预设表级别、字段级别和自定义的监控模板。数据质量帮助您第一时间感知到源端数据的变更与ETL（Extract Transformation Load）中产生的脏数据，自动拦截问题任务，有效阻断脏数据向下游蔓延...
离线同步任务运维
表数据质量监控 数据集成部分目标端数据源支持配置产出表的数据质量监控，您可以进入数据质量规则页面，对数据同步写入的目标表配置数据质量校验规则。对于配置了数据质量监控规则的表，当表关联的调度节点运行（执行节点代码逻辑）完成后...
配置示例：MaxCompute
配置关联调度 如果您需要在生产链路上监控离线数据质量，需要将数据质量规则与产出表数据的调度节点进行关联：产出表数据的调度节点必须发布后才可以关联调度。关联前，请确保您在关联的两个工作空间中，同时拥有 管理员、开发 或 运维 中...
离线同步能力说明
表数据质量监控：支持对同步后的数据进行数据质量监控，目前仅部分数据库类型支持配置数据质量监控规则。详情请参见：数据质量概述。开发和生产隔离：同一个名称的数据源存在开发环境和生产环境两套配置，配置数据同步任务时会使用开发环境...
配置数据质量监控
数据源：E-MapReduce。数据库：您当前的生产项目。表：本案例需要为dwd_log_info_di_emr表设置监控规则。在搜索结果中找到目标表，单击操作列的 监控配置，进入该表的规则配置页面。具体配置参考下文操作。配置分区表达式。在表的监控规则...
查看物理表监控明细
物理表监控明细为您展示物理表的质量监控报告详情，包含质量评分、质量评分规则统计、表质量评分详情、字段质量详情，通过查看物理表维度最新质量评估结果，方便研发运维人员第一时间发现并定位物理表质量问题。本文介绍如何查看物理表监控...
数据库监控
数据库监控指标表 监控指标 参数 说明 QPS qps PolarDB-X 1.0 实例所选数据库每秒处理的SQL语句数目的总和。活跃连接数 con 应用到 PolarDB-X 1.0 实例所选数据库的连接总数。活跃线程 thread PolarDB-X 1.0 实例中目标数据库用来执行SQL的...
批量创建质量规则
质量负责人、普通用户需具有数据表、数据源的读取权限，如需申请，请参见 申请、续期和交还表权限、申请数据源权限。说明 仅Dataphin数据表和全域数据表支持配置异常归档表和打分权重。校验规则说明 数据表参与质量规则校验时，如果触发了...
批量创建质量规则
质量负责人、普通用户需具有数据表、数据源的读取权限，如需申请，请参见 申请、续期和交还表权限、申请数据源权限。说明 仅Dataphin数据表和全域数据表支持配置异常归档表和打分权重。校验规则说明 数据表参与质量规则校验时，如果触发了...
数据质量规则配置流程
启动：在数据质量规则关联产出表数据的调度任务执行时，便会触发质量规则校验。停止：在数据质量规则关联产出表数据的调度任务执行时，不会触发质量规则校验。设为强/弱规则：用于修改规则的强弱属性，规则强/弱将影响规则是否报警与阻塞...
查看物理表监控明细
物理表监控明细为您展示物理表的质量监控报告详情，包含质量评分、质量评分规则统计、表质量评分详情、字段质量详情，通过查看物理表维度最新质量评估结果，方便研发运维人员第一时间发现并定位物理表质量问题。本文介绍如何查看物理表监控...
快速体验
数据质量监控 通过 DataWorks数据质量 模块，对周期性ETL（Extract Transformation Load）操作过程中产生的脏数据进行监控，监控不通过则阻断任务执行，避免影响扩大。学习如何基于DataWorks为任务产出的表，配置数据质量的监控规则，以...
实验介绍
数据质量监控 通过 DataWorks数据质量 模块，对周期性ETL（Extract Transformation Load）操作过程中产生的脏数据进行监控，监控不通过则阻断任务执行，避免影响扩大。学习如何基于DataWorks为任务产出的表，配置数据质量的监控规则，以...
数据质量治理
用户通过设置的数据质量规则执行面向不同计算资源的质量检查任务（包括质量检查计划和场景画布规则），在物理表监控明细以及数据质量监控报告页面查看系统整体数据质量概览及多维度细分数据的质量情况。前提条件 已根据快速入门教程完成...
DescribeInclinedTables-查看表监控
调用DescribeInclinedTables接口查看表监控。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 下表是API对应的授权信息，可以在RAM权限策略...
添加及管理监控对象
您可在规则列表页面添加监控对象并执行查看、编辑、删除...后续步骤 监控对象添加后，可为该监控对象配置质量规格进行监控，详情请见 创建数据表质量规则。创建全域数据表质量规则。创建指标质量规则。创建数据源质量规则。创建实时元表规则。
- 产品推荐
- 这些文档可能帮助您