有效映射关系管理
有效映射关系是基于配置的落标映射规则自动生成或手动配置添加的数据标准和资产对象之间的映射关系，可用于描述资产对象应该遵循某个数据标准，或数据标准被某个资产对象关联遵循，是进行落标监控的前提条件。本文为您介绍如何管理有效映射...
DescribePackages-查询数据包的信息
调用本接口查询已完成扫描授权的MaxCompute数据包的信息，例如数据包的名称、数据包所属者的账号、数据包的风险等级等。接口说明 本接口一般用于 MaxCompute 数据包列表查询，便于搜索和敏感信息概览。QPS 限制 本接口的单用户 QPS 限制为 ...
我是DBA
解决方案 数据归档 数据归档功能支持定时将大表的数据归档至其他数据库，同时支持源表数据删除、表空间整理回收等。一键建仓 一键创建实时同步的数据仓库，数据在秒级的延迟下，同步至AnalyticDB MySQL版数据库中。数据库迁移 通过创建工单...
离线同步任务运维
对于配置了数据质量监控规则的表，当表关联的调度节点运行（执行节点代码逻辑）完成后，将会触发数据质量校验。DataWorks平台将会根据数据质量规则强弱和数据质量规则校验结果决定任务是否由于质量规则校验失败退出，并阻塞下游节点执行，...
DescribeDataAssets-查询数据资产敏感信息
取值：1：未识别到敏感数据，无风险 2：1 级敏感数据风险 3：2 级敏感数据风险 4：3 级敏感数据风险 5：4 级敏感数据风险 6：5 级敏感数据风险 7：6 级敏感数据风险 8：7 级敏感数据风险 9：8 级敏感数据风险 10：9 级敏感数据风险 11：10 ...
DescribeOssObjects-查询OSS的存储对象列表
说明 如果根据 OSS 存储对象命中的敏感数据识别规则的 ID 查询 DSC 连接授权的 OSS 的存储对象列表，敏感数据识别规则 ID 可调用 DescribeRules 接口获取。1222 InstanceId string 否 OSS 对象所属资产实例 ID。说明 如果根据 OSS 对象所属...
配置规则：按表（单表）
数据质量支持按照数据表配置质量监控规则，用来监控表数据是否符合要求，自动拦截问题任务，阻断脏数据向下游蔓延，保障产出的表数据符合预期。规则配置完成后，您可先试跑该规则，确保质量规则的配置符合预期。同时，还可对质量规则执行...
DescribeTables-查询数据资产表的数据
查询数据安全中心连接授权的MaxCompute、RDS等数据资产的表数据。接口说明 在调用 DescribeTables 接口时，您可以设置搜索关键词、数据资产表的风险等级等参数来获取符合要求的数据资产的表信息。QPS 限制 本接口的单用户 QPS 限制为 10 次...
租户设置
若已经配置有实时研发任务、数据萃取任务、质量规则、数据识别规则或数据脱敏规则或创建的数据服务API或Dataphin数据源，则不允许取消对应的功能模块，需要您删除对应的配置后，再进行取消。若已经包含实时集成任务（包括草稿态、开发态、...
SLS的OSS投递数据源
使用DLA的Serverless Spark及Presto引擎能够计算和分析DLA元数据管理的全域数据，可以支持ETL后数据交付、低频全量日志数据分析、日志数据关联DB数据分析等业务场景。操作步骤 登录 Data Lake Analytics管理控制台。在左侧导航栏，单击 ...
配置示例：MaxCompute
配置关联调度 如果您需要在生产链路上监控离线数据质量，需要将数据质量规则与产出表数据的调度节点进行关联：产出表数据的调度节点必须发布后才可以关联调度。关联前，请确保您在关联的两个工作空间中，同时拥有 管理员、开发 或 运维 中...
核心能力
数据资源平台提供了一站式数据资产定义、生产、管理与服务平台，提供企业级数据资产构建能力和一致性使用体验，助力客户快速构建数据智能平台，实现数据资源统一管理，挖掘潜在规律，优化业务决策，让大数据真正的驱动客户业务。...
创建数据表质量规则
不同的规则模板支持的计分方式不同，仅支持 质量校验状态 的计分方式说明如下：唯一性规则大类的字段分组个数校验、字段重复值个数校验。一致性规则大类的单表字段统计值一致性比较、跨源两表字段统计值一致性比较。稳定性规则大类。自定义...
创建数据表质量规则
不同的规则模板支持的计分方式不同，仅支持 质量校验状态 的计分方式说明如下：唯一性规则大类的字段分组个数校验、字段重复值个数校验。一致性规则大类的单表字段统计值一致性比较、跨源两表字段统计值一致性比较。稳定性规则大类。自定义...
数据脱敏
通过配置数据脱敏规则，您可以脱敏审计日志中的银行卡号、手机号码、身份证号等敏感信息，防止在SQL语句或返回结果中泄漏敏感数据。本文介绍如何配置数据脱敏规则。背景信息 数据库审计系统提供10条内置的数据脱敏规则，并默认启用所有内置...
自动运维
一条自动运维规则仅支持关联一条监控规则，但多条自动运维规则支持关联同一条监控规则。进入自动运维 登录 DataWorks控制台，切换至目标地域后，单击左侧导航栏的 数据建模与开发>运维中心，在下拉框中选择对应工作空间后单击 进入运维中心...
监控报警
MaxCompute-包年包月数据传输服务 不涉及 1级配额并发slot使用率 以独享资源组为单位，监控选中独享资源组的使用情况，可以使用并发百分比阈值对资源进行告警规则配置，系统会按照配置的报警规则将报警信息发送至报警联系人。1级配额并发...
计费逻辑说明
例如，一张表配置了两个分区表达式，每个表达式分别配置了两个数据质量校验规则，关联调度后，该调度任务运行时将同时运行该任务关联的数据质量表规则。如果任务最终执行成功，则运行一次任务将产生4个数据质量实例费。数据地图的数据探查...
MaxCompute表数据
如果您已配置数据脱敏规则并设置数据脱敏规则为生效状态，那么数据脱敏规则也会在数据预览页面生效。关于数据脱敏规则配置方法，详情请参见 创建数据脱敏规则。暂不支持MaxCompute外部表和包括JSON字段类型的MaxCompute表的数据预览。进行...
新建及管理识别规则
② 规则介绍区 您可以查看识别规则、数据抽样、识别结果及识别管理的介绍说明。③ 列表区 为您展示识别规则的名称、数据分类、负责人、更新时间、是否生效信息。同时，您可在 操作 列下对识别规则进行重置、查看详情、编辑、复制、转交、...
新建及管理识别规则
② 规则介绍区 您可以查看识别规则、数据抽样、识别结果及识别管理的介绍说明。③ 列表区 为您展示识别规则的名称、数据分类、负责人、更新时间、是否生效信息。同时，您可在 操作 列下对识别规则进行重置、查看详情、编辑、复制、转交、...
新建及管理数据标准
监控规则：为您展示规则名称、监控类型、添加方式、规则类型、校验规则、大小写敏感信息，您可以单击操作列下的 查看 图标查看该监控规则详情。历史版本：为您展示每个版本的版本号、状态、最后修改人、创建时间、发布时间、上线发布说明...
新建及管理数据标准
监控规则：为您展示规则名称、监控类型、添加方式、规则类型、校验规则、大小写敏感信息，您可以单击操作列下的 查看 图标查看该监控规则详情。历史版本：为您展示每个版本的版本号、状态、最后修改人、创建时间、发布时间、上线发布说明...
查看表资产详情
单击 数据质量>规则明细，展示表规则、字段规则和自定义SQL规则。单击 表规则，查看表的规则名称、规则类型、比较方式、强弱、期望值、趋势、规则触发动作、更新时间等。单击 字段规则，查看字段的规则名称、规则类型、比较方式、强弱、...
查看表资产详情
单击 数据质量>规则明细，展示表规则、字段规则和自定义SQL规则。单击 表规则，查看表的规则名称、规则类型、比较方式、强弱、期望值、趋势、规则触发动作、更新时间等。单击 字段规则，查看字段的规则名称、规则类型、比较方式、强弱、...
管理分类分级模板
在 新增自定义识别规则 面板，配置 规则名、数据分类、安全级别、识别模型（可多选）、识别范围 等信息。说明 当内置与自定义识别模型同时被添加在分类分级模板中，不会出现内置覆盖自定义模型或自定义覆盖内置模型。识别模型的详细信息，...
创建全域数据表质量规则
不同的规则模板支持的计分方式不同，仅支持 质量校验状态 计分方式说明如下：唯一性规则大类的字段分组个数校验、字段重复值个数校验。一致性规则大类的单表字段统计值一致性比较、跨源两表字段统计值一致性比较。稳定性规则大类。自定义...
新建表
对于分布规则不明显的数据，并没有明显的范围查找等特征，可以使用HASH分区，将数据分区列的值按照HASH算法打散到不同的分区上，将数据随机分布到各个分区。Key 分区：类似于按 HASH 分区，区别在于 KEY 分区只支持计算一列或多列，且 ...
开通Dataphin
在阿里云官网，鼠标悬停至 产品 后，再将鼠标悬停至左侧导航栏的 大数据计算 上，单击 数据开发与服务 列下的 智能数据建设与治理Dataphin。在Dataphin产品详情页，单击 特惠购买，进入Dataphin购买页面。在购买页面，选择 地域、版本、...
创建全域数据表质量规则
不同的规则模板支持的计分方式不同，仅支持 质量校验状态 计分方式说明如下：唯一性规则大类的字段分组个数校验、字段重复值个数校验。一致性规则大类的单表字段统计值一致性比较、跨源两表字段统计值一致性比较。稳定性规则大类。自定义...
DescribeInstances-查询数据资产实例列表
获取连接授权的MaxCompute、RDS、OSS数据资产实例列表。接口说明 在调用 DescribeInstances 接口时，您可以设置搜索关键词、数据资产实例的风险等级等参数来获取符合要求的数据资产实例的列表信息。QPS 限制 本接口的单用户 QPS 限制为 10 ...
功能简介
AnalyticDB PostgreSQL版 的企业数据智能平台是数据资产定义、加工、管理、服务的全流程平台，提供数据同步、数据查询、数据建模、数据开发、质量评估、资产管理等功能，为智能数据应用持续稳定供给全量、标准、干净、智能的数据资源。...
按扫描量付费
当您通过DLA对本地或第三方数据源中的数据进行关联分析，DLA会根据扫描的数据量进行计费。本文主要介绍按扫描量付费DLA的计费规则 和计费示例。计费规则 计费时，DLA保证扫描的每条数据至少为32MB。DLA每小时生成一个收费订单，并从您的...
功能概览
应用下钻和性能分析 支持基于应用>上下游应用>接口等逐层下钻分析，并展现其黄金性能指标（比如吞吐量、平均响应时、错误率、满意度等），建立由底层到上层间的数据关联信息，从而深度分析分布式场景下的影响应用性能的问题根因。...
阶段一：基础防护建设
DB2201/T 17—2020》《证券期货业数据分类分级指引 JR/T 0158—2018》《信息安全技术健康医疗数据安全指南 GB/T 39725-2020》分级、分类标准确认完毕后，即可前往DataWorks数据保护伞模块配置分级分类、数据识别规则，步骤如下图。...
文档更新动态（2023年）
更新说明 创建MySQL数据源 创建PolarDB-X数据源 创建AnalyticDB for MySQL 2.0数据源 创建AnalyticDB for PostgreSQL数据源 创建达梦（DM）数据源 创建TiDB数据源 创建Kafka数据源 离线集成配置优化 新增Apache Doris数据源的离线集成。...
功能更新动态（2023年）
创建全域数据表规则 创建数据表质量规则 数据安全 安全扫描适配分区字段不是ds或者无分区的情况，采用 全表扫描+Limit条数 的方式进行扫描。数据目录、个人中心、数据表基本信息中支持展示表字段的最高数据分级。创建、配置及手动触发识别...
外部表概述
通过一条简单的DDL语句，即可在MaxCompute上创建一张外部表，建立MaxCompute表与外部数据源的关联，提供各种数据的接入和输出能力。创建好的外部表可以像普通的MaxCompute表一样使用（大部分场景），充分利用MaxCompute SQL的强大计算功能...
配置隔离规则
在 配置限流行为 页面，新增和选择关联规则，然后单击 下一步>新增。在 管理规则 页面，状态栏下单击 开启。在 温馨提示 页面，单击 确定，开启已配置的防护规则。说明 参数说明具体详见 更多信息。常用场景1 保障自身资源充足 当运行该...
配置物联网平台设备
物联网平台主要负责获取设备端数据，并通过规则引擎将数据转发至Table Store、DataHub、RDS、Message Service、Message Queue、TSDB、FC以及另外一个Topic。前提条件 您已经完成了 DataHub项目的创建。操作步骤 创建产品。登录阿里云 物...
- 产品推荐
- 这些文档可能帮助您