产品概述
产品描述 Dataphin是集产品、技术、方法论于一体的智能大数据平台建设引擎，为您提供数据引入、规范定义、建模研发、资产管理、数据服务等全链路智能数据建设及治理服务。功能 描述 Dataphin全托管 全托管又称公共云多租户模式，只需购买...
数据使用诊断
敏感数据识别 说明 从企业纷繁复杂的数据体系中找出重要、敏感的数据是敏感数据防护的关键，DataWorks支持管理员通过智能方式识别敏感数据。数据保护伞服务 此安全检测项为您检测哪些数据分级目前没有配置数据识别规则。未配置数据识别规则...
敏感数据保护
Dataphin支持敏感数据的识别和敏感数据的脱敏保护，可以结合权限管控方案一起，构建起完善的敏感数据保护体系。数据分类分级 Dataphin支持对数据的分类分级进行管理，内置了常用的个人信息数据分类，同时支持客户自定义企业的数据分类分级...
敏感数据保护
Dataphin支持敏感数据的识别和敏感数据的脱敏保护，可以结合权限管控方案一起，构建起完善的敏感数据保护体系。数据分类分级 Dataphin支持对数据的分类分级进行管理，内置了常用的个人信息数据分类，同时支持客户自定义企业的数据分类分级...
语音识别问题排查
如果波形幅度不大能量过低造成识别数据丢失，可能是由于音量太小被噪声模型当成噪声处理。建议调整收音设备，或减小说话人与收音设备的距离。如果波形幅度过大能量过高造成识别错误，可能是由于音量太大被截幅而语音失真，造成识别错误。...
贸易单证识别
应用场景 贸易文书处理 智能识别国际贸易流程中的发票、报关单等各类单证资料，将传统的外贸人员手动录入、比对单据数据，变成AI流程化处理，减少人工操作成本，降低人工录单审核错误率。可满足贸易信息快速入库、贸易数据自动校验场景下的...
行业文档智能FAQ
金融风险管理 金融合规人员利用人工智能对客户交易相关的报关单、发票、提单等单据进行智能识别，与海关、船公司开放数据进行对比核实，做出对客户金融风险判断，大大缩短审查时间。贸易单证识别业务接入方式支持哪几种？目前支持公有云...
DMS分类分级扫描原理介绍
其中，识别模型扫描可以识别数据信息类型，例如姓名、时间等。分类分级扫描则基于识别模型扫描的结果，通过实例关联的分类分级模板对字段进行业务归类，同时自动设置字段的安全级别和脱敏算法。分类分级扫描基于识别模型扫描，但两者相互...
系统配置
您可在数据保护伞的系统配置页面，设置数据保护伞的识别内容、识别范围，水印文件保存时间，是否展示风险识别的数据安全等级，以及告警信息的接收邮件及WebHook地址，以便及时发现并处理潜在安全风险。进入系统配置页面 进入数据开发页面。...
资产安全权限列表
权限点 超级管理员 系统管理员 数据源管理员 安全管理员 质量管理员 板块架构师 普通成员 识别规则 新建识别规则 N N N Y N N N 编辑识别规则 N N N Y N N N 删除识别规则 N N N Y N N N 转交识别规则 N N N Y N N N 测试识别规则 N N N Y ...
资产安全权限列表
权限点 超级管理员 系统管理员 数据源管理员 安全管理员 质量管理员 板块架构师 普通成员 识别规则 新建识别规则 N N N Y N N N 编辑识别规则 N N N Y N N N 删除识别规则 N N N Y N N N 转交识别规则 N N N Y N N N 测试识别规则 N N N Y ...
手动修正数据
本文将为您介绍如何在手动修正数据页面，对规则识别不准确的数据进行手动修正。说明 手动修正的数据结果，在第2天才会生效展示。背景信息 DataWorks支持您对数据识别规则识别不准确的敏感数据进行手动修正，手动修正数据的使用逻辑如下图所...
SQL增强操作
功能 是否支持 限制 云原生大数据计算服务MaxCompute-EXPLAIN 是 无 云原生大数据计算服务MaxCompute-CLONE TABLE 是 无 云原生大数据计算服务MaxCompute-参数化视图 是 创建参数化视图 不支持表值参数table。支持any以及MaxCompute的所有...
数据保护伞概述
数据保护伞是一款数据安全管理产品，为您提供数据发现、数据脱敏、数据水印、访问控制、风险识别、数据溯源等多种功能，帮助您快速梳理敏感数据并进行安全管控，保障数据安全。本文为您介绍数据保护伞的使用流程、使用限制等内容。使用流程...
API概览
ModifyDefaultLevel 修改敏感数据的风险等级定义规则 调用本接口修改敏感数据的风险等级定义规则，包括未能识别数据的默认风险等级、归类为“敏感”的数据风险等级。ModifyRuleStatus 修改识别规则的检测功能状态 调用本接口开启或关闭敏感...
ModifyRule-修改自定义的敏感数据识别规则
调用ModifyRule接口修改数据安全中心DSC（Data Security Center）中自定义的敏感数据识别规则。接口说明 调用本接口时，您必须输入规则名称、规则 ID、规则内容的参数。QPS 限制 本接口的单用户 QPS 限制为 10 次/秒。超过限制，API 调用将...
OSS数据安全防护最佳实践
智能化：运用大数据和机器学习能力，通过智能化的算法，对敏感数据和高风险活动，诸如数据异常访问和潜在的泄漏风险进行有效识别和监控，并提供修复建议。提供定制化的敏感数据识别能力，便于客户自定义识别标准，实现精准识别和高效防护。...
产品优势
智能化 运用大数据和机器学习能力，通过智能化的算法，对敏感数据和高风险活动，例如数据异常访问和潜在的泄露风险进行有效识别和监控，并提供修复建议。可视化 提供敏感数据识别结果可视化能力，让企业数据安全现状一目了然。提供动态可视...
技术架构选型
本教程中使用阿里云大数据产品Dataphin配合MaxCompute，完成整体的数据建模和研发流程。完整的技术架构如下图所示。其中，Dataphin的数据集成及同步负责完成源业务系统数据引入。MaxCompute作为整个大数据开发过程中的离线计算引擎。...
管理识别模型
识别模型是 DMS 敏感数据识别能力的升级，在敏感数据识别能力的基础上，扩充了内置的模型数量，同时，也支持自定义识别模型，您可以通过使用内置和自定义模型构建专属的敏感数据识别能力。本文介绍如何查看识别模型、添加、编辑和删除...
配置识别模板
数据安全中心为不同行业（例如金融、能源、汽车行业）提供了识别敏感数据的解决方案，即内置的识别模板。使用识别模板可以检测您资产中是否存在敏感数据。您可以直接使用内置的识别模板，也可以基于内置模板自定义识别模板。本文介绍如何...
RecognizeGeneral-通用文字识别
接口说明 本接口适用场景 阿里云通用文字识别，是阿里云官方自研 OCR 文字识别产品，适用于各类常见文档图片或文档扫描件中的文字信息按照文档原有的格式智能识别文字并结构化输出识别结果。阿里云 OCR 产品基于阿里巴巴达摩院强大的 AI ...
数据治理
任务开发上线之后，数据正在稳定生产中，您需要对对应的业务表通过可视化查看、自动的数据质量监控、敏感数据管理等多种不同方式进行治理，而以下这些模块就可以很好的帮助您对数据进行治理。可视化元数据管理 数据地图可以可视化的查看表...
Dataphin支持的实时数据源
Ververica Flink支持的实时数据源 存储类型 数据源类型 读 写 维表读 大数据存储 MaxCompute 支持 支持 支持 DataHub 支持 支持-Hologres 支持 支持 支持 数据湖 Hudi 支持 支持-Iceberg 支持（仅支持原生DDL方式）支持（仅支持原生DDL方式...
数据集成概述
背景信息 面对各行各业对大数据的应用，数据集成会有很多的诉求，包括能够简单高效的配置大量数据表的同步任务、能够集成多种异构数据源、能够实现对数据源的数据进行轻度预处理、能够实现数据同步任务的调优（例如容错，限速，并发）等。...
数据集成支持的数据源
离线集成支持的数据源 数据源 读取 写入 大数据存储型数据源 MaxCompute 支持 支持 Hologres 支持 支持 IMPALA 支持 支持 TDH Inceptor 支持 支持 StarRocks 支持 支持 Hudi 支持 支持 Doris 支持 支持 GreenPlum 支持 支持 TDengine 不...
数据集成支持的数据源
离线集成支持的数据源 数据源 读取 写入 大数据存储型数据源 MaxCompute 支持 支持 Hive 支持 支持 Hologres 支持 支持 IMPALA 支持 支持 TDH Inceptor 支持 支持 Kudu 支持 支持 StarRocks 支持 支持 Hudi 支持 支持 Doris 支持 支持 ...
通过自定义模型识别
过滤字段：如果某些字段容易与样本字段混淆，则您也可以在该规则模型中将其排除，排除后，使用该规则模型识别数据时，排除的字段将不会命中。同时，排除的字段将作为负向样本加入模型训练，以达到不命中混淆数据，提高识别准确率的效果。...
创建MaxCompute数据源
背景信息 MaxCompute即阿里云大数据计算服务，适用于数据分析场景的企业级SaaS（Software as a Service）模式云数据仓库，以Serverless架构提供快速、全托管的在线数据仓库服务，消除了传统数据平台在资源扩展性和弹性方面的限制，最小化...
创建MaxCompute数据源
背景信息 MaxCompute即阿里云大数据计算服务，适用于数据分析场景的企业级SaaS（Software as a Service）模式云数据仓库，以Serverless架构提供快速、全托管的在线数据仓库服务，消除了传统数据平台在资源扩展性和弹性方面的限制，最小化...
风险识别管理（旧版）
同时，您可以通过启动数据风险的AI识别功能自动识别数据风险。识别后的风险数据统一在 数据风险 页面进行展示和审计操作，同时会在 数据访问 页面相应的数据后打上识别标志。登录 DataWorks控制台，单击左侧导航栏的 数据建模与开发>数据...
数据源白名单配置
产品名称 操作说明 云原生大数据计算服务MaxCompute 设置白名单 实时数仓Hologres IP白名单 云数据库ClickHouse 设置白名单 消息队列Kafka版 配置白名单 云原生分布式数据库PolarDB-X 设置白名单 云原生分布式数据库PolarDB-X（2.0）设置白...
识别规则及识别方式
说明 自动继承开启后，下游会根据字段血缘关系自动继承直接上游字段的敏感等级，同时根据默认脱敏规则的配置，以实现对新增数据的自动保护，减少手动配置成本，也能更大程度上保证关联数据识别结果一致性和相关性。继承场景 支持选择 识别...
创建Hudi数据源
背景信息 Hudi即Apache Hudi，Hudi是一个通用的大数据存储系统，将核心仓库和数据库功能直接引入到数据库中，并支持记录级别的插入更新和删除数据的能力。权限说明 仅支持 超级管理员、数据源管理员、板块架构师、项目管理员 角色创建数据...
项目安全策略
资产安全策略 安装后可使用数据安全策略，进行敏感数据识别和数据脱敏。默认项目生成后自动安装，安装成功后可以更新和修改生效状态。如果您还没有安装资产安全策略，您可以单击 安装，进行安装。如果已经安装资产安全策略，您可以查看安装...
项目安全策略
资产安全策略 安装后可使用数据安全策略，进行敏感数据识别和数据脱敏。默认项目生成后自动安装，安装成功后可以更新和修改生效状态。如果您还没有安装资产安全策略，您可以单击 安装，进行安装。如果已经安装资产安全策略，您可以查看安装...
数据集成概述
背景信息 面对各行各业对大数据的应用，数据集成会有很多的诉求，包括能够简单高效的配置大量数据表的同步任务、能够集成多种异构数据源、能够实现对数据源的数据进行轻度预处理、能够实现数据同步任务的调优（例如容错，限速，并发）等。...
数据脱敏
识别规则：在数据脱敏功能中，使用规则来自动识别数据库中的敏感数据。扫描添加敏感列时，会通过添加的识别规则自动识别匹配的敏感列。敏感列：在数据库表中，包含敏感数据的列。原理介绍 执行流程 项目管理员在 安全规范>脱敏算法 中查看...
创建Hudi数据源
背景信息 Hudi即Apache Hudi，Hudi是一个通用的大数据存储系统，将核心仓库和数据库功能直接引入到数据库中，并支持记录级别的插入更新和删除数据的能力。更多信息，请参见 Apache Hudi官网。权限说明 仅支持 超级管理员、数据源管理员、...
识别规则及识别方式
说明 自动继承开启后，下游会根据字段血缘关系自动继承直接上游字段的敏感等级，同时根据默认脱敏规则的配置，以实现对新增数据的自动保护，减少手动配置成本，也能更大程度上保证关联数据识别结果一致性和相关性。继承场景 支持选择 识别...
- 产品推荐
- 这些文档可能帮助您