敏感数据概况
您在配置规则后，数据发现页面可以帮助您有效识别工作空间内的敏感数据。前提条件 阿里云主账号已授权阿里云主账号开通数据保护伞，详情请参见 数据保护伞概述。背景信息 您可以在完成敏感数据规则配置的第二天，查看数据分布情况。说明 ...
什么是数据安全中心
DSC 可根据预先定义的敏感数据关键字段，扫描MaxCompute、OSS、阿里云数据库服务（RDS、PolarDB-X、PolarDB、OceanBase、表格存储）、自建数据库等数据库中的数据，通过敏感数据规则中的命中次数来判断是否属于敏感数据。重要 DSC 仅对数据...
DescribeColumnsV2-查询数据资产表中列的数据V2
false：数据资产表中列数据不包含敏感数据。true SensLevelName string 敏感等级名。取值：N/A：未识别到敏感数据。S1：1 级敏感数据。S2：2 级敏感数据。S3：3 级敏感数据。S4：4 级敏感数据。S2 InstanceName string 数据资产表中列数据...
DataWorks模块使用说明
使用流程概览：参考文档：数据集成概述 数据建模与开发 子模块：数据建模 功能说明：数据建模是全链路数据治理的第一步，沉淀阿里巴巴数据中台建模方法论，从数仓规划、数据标准、维度建模、数据指标四个方面，以业务视角对业务的数据进行...
批量创建质量规则
校验配置 数据质量规则校验后，结果会和异常校验的配置进行对比，符合条件则校验结果为不通过；同时触发告警等后续流程。异常校验可用指标由模板和配置内容决定，支持多种条件的and/or条件，实际配置中建议小于3条。详情请参见 质量规则...
批量创建质量规则
校验配置 数据质量规则校验后，结果会和异常校验的配置进行对比，符合条件则校验结果为不通过；同时触发告警等后续流程。异常校验可用指标由模板和配置内容决定，支持多种条件的and/or条件，实际配置中建议小于3条。详情请参见 质量规则...
公告
2020年12月15日-Dataphin上线资产安全功能包 资产安全支持定义数据的业务分类和安全等级，并构建敏感数据识别规则，同时支持设置敏感数据脱敏规则，以保障数据资产的安全性。2020年5月20日-Dataphin正式商业化 Dataphin于2020年5月19日结束...
DescribeColumns-查询数据资产表中列的数据
false：数据资产表中列数据不包含敏感数据。false SensLevelName string 敏感等级名。取值：N/A：未识别到敏感数据。S1：1 级敏感数据。S2：2 级敏感数据。S3：3 级敏感数据。S4：4 级敏感数据。S2 InstanceName string 数据资产表中列数据...
租户设置
若已经配置有实时研发任务、数据萃取任务、质量规则、数据识别规则或数据脱敏规则或创建的数据服务API或Dataphin数据源，则不允许取消对应的功能模块，需要您删除对应的配置后，再进行取消。若已经包含实时集成任务（包括草稿态、开发态、...
新建及管理识别规则
测试仅用于判断单条识别规则是否能识别出敏感数据，实际执行会对多个符合条件的规则进行判断并按照优先级最终确定一个识别规则，因此测试打标结果可能和实际的规则打标结果不一致。手动触发识别规则 按照下图操作指引，进入 手动规则扫描 ...
配置数据层
配置异地应用双活数据层主要包括数据源、数据同步以及数据保护规则。各单元之间数据源的数据会通过数据同步组件进行复制，并按照指定的数据保护规则承担不同比例流量写入和读取，使各个单元的数据保持最终一致性。当某个单元出现异常或者不...
创建数据表质量规则
Dataphin支持创建校验数据表的质量规则，提升数据表质量监控的便捷性。本文为您介绍如何配置数据表的质量规则。前提条件 已经添加监控对象才可配置质量规则，如何添加监控对象，请参见 添加监控对象。权限说明 超级管理员、质量管理员支持...
阶段三：数据安全持续运营
通常，企业数据开发人员、分析人员只允许在数据平台上浏览及使用数据，不允许将明细数据下载至本地进行分析。数据导出到本地后将无法审计其使用行为，若使用不当或遇到别有用心者，将导致数据被滥用、泄露，严重则可能产生数安事件及风险...
创建数据表质量规则
Dataphin支持创建校验数据表的质量规则，提升数据表质量监控的便捷性。本文为您介绍如何配置数据表的质量规则。前提条件 已经添加监控对象才可配置质量规则，如何添加监控对象，请参见 添加监控对象。权限说明 超级管理员、质量管理员支持...
最佳实践
RDS MySQL全密态数据库能够对数据库查询结果中的数据进行加密和脱敏保护，任何非授权人员均无法查看被保护数据明文内容。本文介绍如何通过全密态客户端驱动EncJDBC快速使用并验证RDS MySQL全密态数据库功能。前提条件 RDS MySQL实例的大...
生成测试数据
ODC 支持如下处理方式：忽略：默认为忽略，若数据有冲突则冲突数据不被插入。覆盖：若数据有冲突则删除原数据插入新数据。终止：若数据有冲突则停止生成数据终止整个模拟数据任务。规则设置 设置数据生成规则。在 规则 和 细则 列中对选择...
配置安全规则
将数据库添加到数据库审计系统后，您可以为数据库配置安全规则（即审计规则），当数据库的审计记录命中审计规则时，数据库审计系统会触发告警。本文介绍如何配置审计规则。背景信息 审计规则支持内置规则和自定义规则。内置规则即数据库...
大数据安全治理的难点
存储 众所周知，大数据系统以数据类型多（结构化、非结构化、半结构化）、数据量大（动辄PB级别）著称，某些巨头组织一天就能新增数十万甚至数百万张表，如此体量给数据分级分类带来了极大挑战，通过人工进行数据分级分类显然是不现实的，...
数据质量规则配置流程
质量规则列表 在上图的区域②，为您展示 规则名称、规则ID、表名、规则字段、分区表达式、关联调度、规则模板、强/弱、启停状态、配置人 等质量规则详细信息，同时您可以在操作列对规则进行 订阅管理、修改 规则、删除 规则、停止/启动 ...
敏感数据溯源
DataWorks的数据溯源功能，支持通过提取数据泄露文件中数据的水印信息，帮助您定位到可能会泄露目标数据的责任人。本文为您介绍如何创建溯源任务，并通过该任务查找可能会泄露数据的责任人。前提条件 已创建 数据识别规则，详情请参见 配置...
数据风险点监控
在线数据风险点监控 在线业务系统的数据生成过程中必须确保数据质量，根据业务规则对数据进行监控。说明 MaxCompute本身未提供相应的监控工具，您可以借助DataWorks进行监控。详情请参见 概述。您可以对数据库表的记录进行规则校验，制定...
同步 OceanBase 数据库的数据至 Kafka
背景信息 Kafka 是目前广泛应用的高性能分布式流计算平台，数据传输支持 OceanBase 数据库两种租户与自建 Kafka 数据源之间的数据实时同步，扩展消息处理能力，广泛应用于实时数据仓库搭建、数据查询和报表分流等业务场景。前提条件 数据...
使用限制
不支持 数据集成功能（SSIS）支持（共享规格不支持）支持（共享规格不支持）不支持 支持（共享规格不支持）数据分析功能（SSAS）数据报表功能（SSRS）邮件功能 不支持 不支持 不支持 不支持 R语言服务 公共语言运行时集成（CLR）异步消息...
风险识别管理（新版）
规则名称 规则类型 规则等级 规则配置 非工作时间查询大数据量敏感数据 数据访问风险 低 如下时间段查询数据量大于10000时命中该规则。周一至周五：22:00～24:00。周六至周日：00:00～24:00。相似SQL查询 数据访问风险 低 十分钟内查询相似...
质量规则模板类型
如果差异较大，可能存在较大数据质量的问题需要进行确认和修复。实时多链路对比 高可用场景下，需要构建多条链路，以便数据出现异常时，能够及时切换。对于多链路之间的数据计算进度监控则可以发现一些数据滞留、统计偏差问题，提升实时...
质量规则模板类型
如果差异较大，可能存在较大数据质量的问题需要进行确认和修复。实时多链路对比 高可用场景下，需要构建多条链路，以便数据出现异常时，能够及时切换。对于多链路之间的数据计算进度监控则可以发现一些数据滞留、统计偏差问题，提升实时...
查看敏感数据识别结果
半结构化数据和非结构化数据不支持查看列详情。预览：在 预览 页签，单击 查看样本数据，可预览数据表的前5行样本数据。半结构化数据和非结构化数据不支持预览功能。查看数据库实例的识别结果 如需关注数据库实例的敏感数据识别结果，您...
DataWorks产品安全能力介绍
为充分契合数据安全治理的核心理念与通用思路，DataWorks针对资产梳理、技术体系/运营体系建设提供了一系列全面的数据安全产品能力，基于“I（Identify）P（Protect）D（Detect）R（Respond）”理论框架，从资产识别、安全防护、行为检测、...
DescribePackages-查询数据包的信息
调用本接口查询已完成扫描授权的MaxCompute数据包的信息，例如数据包的名称、数据包所属者的账号、数据包的风险等级等。接口说明 本接口一般用于 MaxCompute 数据包列表查询，便于搜索和敏感信息概览。QPS 限制 本接口的单用户 QPS 限制为 ...
创建全域数据表质量规则
Dataphin支持创建校验数据表的质量规则，提升数据表质量监控的便捷性。本文为您介绍如何配置全域数据表的质量规则。前提条件 已经添加监控对象才可配置质量规则，如何添加监控对象，请参见 添加监控对象。权限说明 超级管理员、质量管理员...
创建全域数据表质量规则
Dataphin支持创建校验数据表的质量规则，提升数据表质量监控的便捷性。本文为您介绍如何配置全域数据表的质量规则。前提条件 已经添加监控对象才可配置质量规则，如何添加监控对象，请参见 添加监控对象。权限说明 超级管理员、质量管理员...
数据扫描和识别
支持扫描的数据源类型如下：结构化数据：RDS、PolarDB、PolarDB-X、MongoDB、OceanBase、自建数据库 非结构化数据：OSS 大数据：TableStore、MaxCompute、ADB-MYSQL、ADB-PG 数据源授权完成后需要多长时间完成扫描？DSC 完成数据源授权后，...
数据治理
数据保护伞 数据保护伞为什么有时候查询脱敏有时候查询不脱敏 为什么数据地图数据总览页存储量和存储趋势图相差较大？存储量是实时的数据，存储趋势图（折线图）是某一时刻的快照，如果您现在的计算量很少（产生的临时表比较少）的话，两个...
新建及管理质量规则模板
数据源类型 模板需要指定支持的数据源类型，避免不同数据源语法结构不一致导致规则定义不生效或校验结果异常产生误告警。支持定义2种类型：通用：校验条件和具体的数据源无关，所有类型均可以使用相同的校验语句，如：完整性模板。特定类型...
资产质量概述
如果是弱规则，则质量规则校验的结果为异常时报警但不阻塞下游任务节点。功能概述 资产质量支持Dataphin数据表、全域数据表、指标、数据源和实时元表的规则校验及整改。Dataphin数据表 支持多种表类型（如物理表、事实逻辑表、维度逻辑表、...
资产质量概述
如果是弱规则，则质量规则校验的结果为异常时报警但不阻塞下游任务节点。功能概述 资产质量支持Dataphin数据表、全域数据表、指标、数据源和实时元表的规则校验及整改。Dataphin数据表 支持多种表类型（如物理表、事实逻辑表、维度逻辑表、...
DescribeDataAssets-查询数据资产敏感信息
取值：1：未识别到敏感数据，无风险 2：1 级敏感数据风险 3：2 级敏感数据风险 4：3 级敏感数据风险 5：4 级敏感数据风险 6：5 级敏感数据风险 7：6 级敏感数据风险 8：7 级敏感数据风险 9：8 级敏感数据风险 10：9 级敏感数据风险 11：10 ...
预降采样
创建预降采样规则 重要 预降采样规则对于之前已经写入的数据不生效。创建表级别的预降采样规则（SQL方式）示例 设置预降采样精度为1小时，并对预降采样周期执行sum和max预计算。CREATE PREDOWNSAMPLE `1h` AGGREGATORS(`sum`,`max`)ON ...
离线同步任务运维
表数据质量监控 数据集成部分目标端数据源支持配置产出表的数据质量监控，您可以进入数据质量规则页面，对数据同步写入的目标表配置数据质量校验规则。对于配置了数据质量监控规则的表，当表关联的调度节点运行（执行节点代码逻辑）完成后...
新建及管理识别规则
测试仅用于判断单条识别规则是否能识别出敏感数据，实际执行会对多个符合条件的规则进行判断并按照优先级最终确定一个识别规则，因此测试打标结果可能和实际的规则打标结果不一致。手动触发识别规则 按照下图操作指引，进入 手动规则扫描 ...
- 产品推荐
- 这些文档可能帮助您