数据质量风险监控

本教程使用DataWorks数据质量(DQC)功能,完成数仓各层次的数据质量监控。前提条件 首先您需要完成教程 搭建互联网在线运营分析平台,并保证您的DataWorks工作空间创建区域为华东2(上海),详情参见 业务场景与开发流程。您需要完成数据...

数据质量风险监控

本教程使用DataWorks数据质量(DQC)功能,完成数仓各层次的数据质量监控。前提条件 首先您需要完成教程 搭建互联网在线运营分析平台,并保证您的DataWorks工作空间创建区域为华东2(上海),详情参见 业务场景与开发流程。您需要完成数据...

数据风险点监控

通过配置DQC的数据质量校验规则,可以实现在数据处理过程中进行自动的数据质量监控。DQC可以监控数据质量并报警,但它不对数据产出进行处理,需要报警接收人判断如何处理。DQC数据监控规则有强规则和弱规则:强规则:一旦触发报警就会阻断...

DataWorks on EMR快速入门

DataWorks支持基于E-MapReduce创建Hive、Spark SQL、Presto和MR等节点,实现任务工作流的配置和定时调度、元数据管理及数据质量监控告警等功能,为用户提供一站式数据湖开发和治理的环境。本文为您介绍如何在DataWorks上快速使用EMR集群。...

管理问题数据

数据质量支持您保留数据质量监控过程中从数据表中发现的非预期数据,帮助您快速排查、定位问题,提升数据质量。本文为您介绍如何管理数据质量监控过程中从数据表中发现的非预期数据。背景信息 问题数据表 数据质量支持在部分规则校验不通过...

配置集成管道质量监控

通过离线集成管道质量监控,Dataphin会自动为您监控数据表的质量,如果数据表有质量风险,系统会自动报警,通知告警接收人,帮助您及时了解数据表质量状况。本文为您介绍如何配置质量规则。权限说明 项目开发者支持创建集成任务、配置质量...

数据质量管理流程

数据质量的管理流程包括业务数据资产定级、加工卡点、风险点监控和及时性监控,您可以构建属于自己的数据质量保障体系。数据质量管理的流程图如下。数据质量管理的流程说明如下:分析业务场景,对数据流转链路上的整个依赖关系,进行资产...

数据质量管理流程

数据质量的管理流程包括业务数据资产定级、加工卡点、风险点监控和及时性监控,您可以构建属于自己的数据质量保障体系。数据质量管理的流程图如下。数据质量管理的流程说明如下:分析业务场景,对数据流转链路上的整个依赖关系,进行资产...

功能简介

通过数据质量监控报告,查看系统整体数据质量概览及多维度细分数据的质量情况。质量评估通过完整性、准确性、一致性、唯一性、时效性、规范性等六个方面构建数据质量指标体系,来实现对数据质量的量化评估。完整性:数据完整性是指一个数据...

功能简介

通过数据质量监控报告,查看系统整体数据质量概览及多维度细分数据的质量情况。质量评估通过完整性、准确性、一致性、唯一性、时效性、规范性等六个方面构建数据质量指标体系,来实现对数据质量的量化评估。完整性:数据完整性是指一个数据...

质量评估

质量评估通过用户自定义质量检查计划,根据用户设置的数据质量规则执行面向不同计算资源的质量检查任务,通过数据质量监控报告展现系统整体数据质量概览及多维度细分数据的质量情况。质量评估通过完整性、准确性、一致性、唯一性、时效性、...

资产质量概述

资产质量基于Dataphin平台,为数据的开发及使用提供全套的数据质量解决方案。数据质量的功能包括质量规则配置、质量监控、调度配置、智能报警、校验治理等。前提条件 已购买资产质量增值服务,详情请参见 开通Dataphin。背景信息 面对各行...

创建数据质量规则

Dataphin支持创建校验数据表的质量规则,提升数据质量监控的便捷性。本文为您介绍如何配置数据表的质量规则。前提条件 已经添加监控对象才可配置质量规则,如何添加监控对象,请参见 添加监控对象。权限说明 超级管理员、质量管理员支持...

全景视角

登录 DataWorks控制台,单击左侧导航栏 数据治理>数据治理中心,在下拉框中选择对应工作空间后单击 进入数据治理中心。单击顶部菜单栏的 使用分析,进入 使用分析 页面。在左侧 其他 区域,您可以根据场景,选择不同视角查看相关信息。...

质量大盘

质量大盘介绍 质量大盘页面默认为您展示今日的全局质量监控数据,请根据以下步骤进入 质量大盘 页面。在Dataphin首页,单击顶部菜单栏的 资产。在 资产 页面,单击 质量。在 质量 页面,单击 质量大盘。编号 说明 ① 展示质量规则校验的...

创建全域数据质量规则

Dataphin支持创建校验数据表的质量规则,提升数据质量监控的便捷性。本文为您介绍如何配置全域数据表的质量规则。前提条件 已经添加监控对象才可配置质量规则,如何添加监控对象,请参见 添加监控对象。权限说明 超级管理员、质量管理员...

概览

事件监控与自定义监控的区别如下:事件监控用于解决非连续的事件类型的监控数据的上报、查询与报警。自定义监控用于解决周期性的持续采集的时间序列监控数据的上报、查询与报警。自定义监控的使用流程如下:上报监控数据。监控数据上报方式...

添加数据

相关操作 在 数据管理 页面,执行如下操作:操作 说明 搜索数据 在左上角的搜索框中,输入关键字,单击 图标,筛选需要的目标数据。查看数据详情 在数据列表,单击目标数据 操作 列的 详情,可查看空间数据基本信息、空间信息和缩略图。...

概览

您还可以通过阿里云CLI和API上报自定义监控数据至云监控的指标仓库。说明 创建数据接入任务后,企业云监控将会在1分钟~2分钟内回溯监控指标若干个周期的历史数据。如果无历史数据,则您需要等待一个周期才能看到监控指标的最新数据。步骤三...

数据质量:全流程的质量监控

DataWorks的全流程数据质量监控功能为您提供35种预设表级别、字段级别和自定义的监控模板。数据质量帮助您第一时间感知到源端数据的变更与ETL(Extract Transformation Load)中产生的脏数据,自动拦截问题任务,有效阻断脏数据向下游蔓延...

目标数据库连接性检查

为保障数据迁移任务的顺利执行,在预检查阶段检查DTS服务器是否能够连通要迁移的目标数据库。本文将介绍目标数据库连接性检查失败可能的原因及修复方法。当目标数据库连接性预检查失败时,可能是以下几种原因。数据库账号或数据库密码不...

数据

计算资源类型 选择需要同步到的目标数据源的类型,目前支持的目标数据源类型参见 适用场景 目标数据源 选择同步到的目标数据源。目标数据表 选择同步到的目标数据源中的表名。生命周期(可选)设置目标表的留存天数,如未设置,默认将保留1...

数据上传

DataWorks的数据上传功能,支持将多种来源(例如,本地文件、OSS文件)的数据上传至MaxCompute大数据引擎进行分析处理及相关管理操作,致力于为您提供高效、便捷的数据传输服务,助力您快速实现数据驱动业务。使用限制 目前仅支持基于 本地...

配置MySQL输出组件

同步其他数据源的数据至MySQL数据源的场景中,完成源数据源的信息配置后,需要配置MySQL输出组件的目标数据源。本文为您介绍如何配置MySQL输出组件。前提条件 已创建MySQL数据源,详情请参见 创建MySQL数据源。进行MySQL输出组件属性配置的...

离线同步任务运维

表数据质量监控 数据集成部分目标端数据源支持配置产出表的数据质量监控,您可以进入数据质量规则页面,对数据同步写入的目标表配置数据质量校验规则。对于配置了数据质量监控规则的表,当表关联的调度节点运行(执行节点代码逻辑)完成后...

Redis实例间的单向数据同步

数据同步期间,请勿在源库中执行 FLUSHDB 和 FLUSHALL 命令,否则将导致源和目标的数据不一致。若目标数据库内存不足,触发数据逐出时,由于 云数据库Redis版 的默认数据逐出策略(maxmemory-policy)为 volatile-lru,会导致目标库与源库...

Redis实例间的单向数据同步

数据同步期间,请勿在源库中执行 FLUSHDB 和 FLUSHALL 命令,否则将导致源和目标的数据不一致。若目标数据库内存不足,触发数据逐出时,由于 云数据库Redis版 的默认数据逐出策略(maxmemory-policy)为 volatile-lru,会导致目标库与源库...

Redis企业版实例间的双向同步

请勿在源实例中执行 FLUSHDB 和 FLUSHALL 命令,否则将导致源和目标的数据不一致。若目标数据库内存不足,触发数据逐出时,由于 云数据库Redis版 的默认数据逐出策略(maxmemory-policy)为 volatile-lru,会导致目标库与源库数据不一致的...

配置AnalyticDB for MySQL 3.0输出组件

同步其他数据源的数据至AnalyticDB for MySQL 3.0数据源的场景中,完成源数据源的信息配置后,需要配置AnalyticDB for MySQL 3.0输出组件的目标数据源。本文为您介绍如何配置AnalyticDB for MySQL 3.0输出组件。前提条件 已创建AnalyticDB ...

Redis企业版实例间的双向同步

请勿在源实例中执行 FLUSHDB 和 FLUSHALL 命令,否则将导致源和目标的数据不一致。若目标数据库内存不足,触发数据逐出时,由于 云数据库Redis版 的默认数据逐出策略(maxmemory-policy)为 volatile-lru,会导致目标库与源库数据不一致的...

配置MaxCompute输出组件

同步其他数据源的数据至MaxCompute数据源的场景中,完成源数据源的信息配置后,需要配置MaxCompute输出组件写入数据到目标数据源。本文为您介绍如何配置MaxCompute输出组件。操作步骤 请参见 离线管道组件开发入口,进入离线单条管道脚本的...

使用DataWorks

添加目标数据源 请根据MaxCompute导出的目标数据源类型,完成添加数据源操作。更多添加数据源操作,请参见 配置数据源。创建业务流程 在DataWorks上创建业务流程,为创建离线同步任务做准备。登录 DataWorks控制台,单击左侧导航栏的 数据...

购买流程

目标实例 选择数据校验的目标数据库类型。目标实例地域 选择目标数据库所属的地域,购买后不支持更换地域,请谨慎选择。网络类型 数据校验任务使用的网络类型,固定为 专线。资源组 选择校验任务所属的资源组,相关介绍,请参见 什么是资源...

同步时源库为MongoDB的注意事项及限制

MongoDB(副本集架构)同步至MongoDB(副本集架构、分片集群架构)如果同步的目标数据库类型为MongoDB,如自建MongoDB、云数据库MongoDB,具体注意事项及限制如下:类型 说明 源库限制 带宽要求:源库所属的服务器需具备足够出口带宽,否则...

接入数据库

数据库连接方式说明 连接类型 说明 支持的数据资产类型 一键连接 指通过控制台按钮一键连接数据库的方式。在连接过程中,数据安全中心 会针对目标数据资产添加只读账号,数据安全中心 通过该账号连接目标数据库,从而进行数据识别任务;...

配置TiDB输出组件

同步其他数据源的数据至TiDB数据源的场景中,完成源数据源的信息配置后,需要配置TiDB输出组件写入数据的目标数据源。本文为您介绍如何配置TiDB输出组件。前提条件 已创建TiDB数据源,如何创建,请参见 创建TiDB数据源。进行TiDB输出组件...

产品优势

监控是阿里巴巴集团多年来监控技术研究积累的成果,结合阿里云计算平台强大的数据分析能力,为您提供云产品监控、站点监控和主机监控等功能,为您的云产品保驾护航。即开即用 云监控无需您购买和开通。当您注册阿里云账号后,自动开通云...

PolarDB PostgreSQL版(兼容Oracle)集群间的单向同步

数据库名称 填入同步的目标数据库名称。数据库账号 填入目标 PolarDB PostgreSQL版(兼容Oracle)集群的数据库账号,该账号需具备 数据库Owner 权限。重要 数据库Owner 在创建数据库时已指定。数据库密码 填入数据库账号对应的密码。单击...

配置AnalyticDB for PostgreSQL输出组件

同步其他数据源的数据至AnalyticDB for PostgreSQL数据源的场景中,完成源数据的信息配置后,需要配置AnalyticDB for PostgreSQL输出组件的目标数据源。本文为您介绍如何配置AnalyticDB for PostgreSQL输出组件。操作步骤 请参见 通过离线...

基于DLF、RDS或Flink、OSS支持Delta Lake或Hudi存储...

待同步任务执行成功后,在DLF控制台中单击 元数据>元数据管理,并单击进入新生成的目标数据库,在表列表页签即可查看到已生成的数据表。步骤六:基于MaxCompute分析数据湖数据 基于已创建的MaxCompute项目、DLF元数据库、OSS存储空间,创建...
共有200条 < 1 2 3 4 ... 200 >
跳转至: GO
产品推荐
云服务器 安全管家服务 安全中心
这些文档可能帮助您
数据库备份 云数据库 RDS 数据传输服务 云数据库 Redis 版 弹性公网IP 短信服务
新人特惠 爆款特惠 最新活动 免费试用