大数据保护-大数据保护文档介绍内容-阿里云

管理敏感数据

OceanBase Oracle DB2 达梦数据库 Lindorm：Lindorm_CQL、Lindorm_SQL OpenGauss 数据仓库：AnalyticDB MySQL版 AnalyticDB PostgreSQL版 DLA（Data Lake Analytics）ClickHouse MaxCompute Hologres Hive 实例已开通敏感数据保护功能。...

开发管控：管理者

通过操作审计查询行为事件日志数据脱敏及泄露数据溯源为防止重要文件泄露，您可通过数据保护伞的脱敏配置，对重要数据设置脱敏规则，并依据数据水印功能对泄露数据进行溯源。说明仅空间管理员或安全管理员角色的用户，以及拥有 ...

什么是DataWorks

DataWorks基于MaxCompute、Hologres、EMR、AnalyticDB、CDP等大数据引擎，为数据仓库、数据湖、湖仓一体等解决方案提供统一的全链路大数据开发治理平台。从2009年起，DataWorks不断沉淀阿里巴巴大数据建设方法论，支撑数据中台建设，同时与...

操作审计

详情请参考文档：数据保护伞数据脱敏管理：数据脱敏管理 MaxCompute表权限的权限审计您可以进入安全中心，在数据访问控制，权限审计处，查看表都有谁有具体的什么权限，以及申请的权限有效期，并支持回收表权限。权限审计表数据，节点...

创建数据脱敏场景

单击左上方的图标，选择全部产品>数据治理>数据保护伞，单击立即体验，进入数据保护伞。说明若阿里云主账号已授权，则直接进入数据保护伞的首页。若阿里云主账号未授权，则进入数据保护伞的授权页面。授权后才可使用保护伞的相关功能。...

发展历程

关键性里程碑 2009年9月，ODPS（即现在的MaxCompute）大数据平台飞天项目正式启动。2010年10月，阿里巴巴集团自主研发的第一代云计算平台稳定运行。2013年8月，平台的单集群规模已达到5000台。2014年7月，平台开始对外提供服务，完全替换...

应用场景

数据分析业务云数据库 Memcache 版搭配大数据计算服务 MaxCompute。实现对大数据的分布式分析处理，适用于商业分析、挖掘等大数据处理场景。通过数据集成服务可自助实现数据在云数据库 Memcache 版与 MaxCompute 间的同步，简化数据操作...

技术架构选型

本教程中使用阿里云大数据产品MaxCompute配合DataWorks，完成整体的数据建模和研发流程。完整的技术架构图如下图所示。其中，DataWorks的数据集成负责完成数据的采集和基本的ETL。MaxCompute作为整个大数据开发过程中的离线计算引擎。...

PolarDB的高级脱敏

功能介绍为进一步提高 PolarDB MySQL版引擎的数据安全、数据脱敏等方面的安全能力，阿里云将 PolarDB MySQL版集群代理（Proxy）的脱敏功能与 DMS 的敏感数据保护功能集成，当 DMS 识别到敏感数据后，会根据脱敏规则自动对数据进行脱敏，...

计算引擎审批策略

背景信息您可以从 MaxCompute项目维度或 数据保护伞分级分类维度定义审批流程适用的数据范围，详情可参见选择配置范围。使用限制仅空间管理员、被授权 AliyunDataWorksFullAccess 的子账号有权限进行审批策略的操作。企业版的...

调整字段安全级别

前提条件实例已开启敏感数据保护功能。具体操作，请参见开通敏感数据保护。设置敏感等级的影响设置敏感等级后，对使用数据的影响：SQL窗口中查询数据时，对无权限的中敏感、高敏感字段显示为星号（*）或者按自定义的方式显示。查询、...

ECS实例说明

大数据型使用本地SATA盘作存储数据，存储性价比高，是大数据量（TB级别的数据量）场景下的推荐机型。说明 Hadoop、Data Science、Dataflow和Druid类型的集群支持Core节点；Zookeeper和Kafka类型的集群不支持Core节点。本地SSD型使用本地...

DataWorks快速入门指引

DataWorks基于MaxCompute、Hologres、EMR、AnalyticDB、CDP等大数据引擎，为数据仓库、数据湖、湖仓一体等解决方案提供统一的全链路大数据开发治理平台，为了便于新用户快速了解DataWorks的数据开发治理操作全流程，DataWorks为您提供了...

IoT数据自动化同步至云端解决方案

大数据分析是大数据完成数据价值化的重要手段之一，而进行大数据分析的第一步是让数据成功上云。解决方案 IoT数据自动化同步至云端解决方案主要包括存储原始数据和同步数据至分析系统两部分。IoT设备大量的数据通常以半结构化的形式存储。...

技术架构选型

本教程中使用阿里云大数据产品MaxCompute配合DataWorks，完成整体的数据建模和研发流程。完整的技术架构图如下图所示。其中，DataWorks的数据集成负责完成数据的采集和基本的ETL。MaxCompute作为整个大数据开发过程中的离线计算引擎。...

数据治理

敏感数据保护 对于业务中对数据保护的需求，您可以将数据进行动态或静态脱敏，在当前实验中，会将表（retail_e_commerce_2.dim_ec_mbr_user_info）中的手机号码、IP地址等敏感字段进行动态脱敏处理。具体操作请参见下文指导，更多数据保护...

通过DMS管理MongoDB数据库

背景信息 DMS提供如下几个角色：管理员：除系统管理菜单中的 数据保护伞之外的所有入口对此角色可见。说明其中用户管理、访问IP白名单功能仅此角色可见。如果您是管理员用户，需要通过登录实例管理您的MongoDB数据库。安全管理员：...

全局级模块权限控制

说明当前阿里云主账号下所有RAM用户默认为DataWorks租户成员，安全管理员安全中心、审批中心、数据保护伞安全中心所有权限审批中心的自定义审批策略权限 数据保护伞所有权限合规管理员安全中心安全中心的数据跨境风险检测权限、数据...

DataWorks on EMR数据安全方案

在大数据领域，阿里云为企业用户提供了一整套数据安全方案，包含用户认证、数据权限、大数据作业管理体系等。本文以联合使用DataWorks与EMR为例，为您介绍DataWorks on EMR场景下的数据安全方案。背景信息 DataWorks on EMR目前支持LDAP...

产品概述

什么是E-MapReduce 开源大数据开发平台E-MapReduce（简称EMR），是运行在阿里云平台上的一种大数据处理的系统解决方案。EMR基于开源的Apache Hadoop和Apache Spark，让您可以方便地使用Hadoop和Spark生态系统中的其他周边系统分析和处理...

产品简介

开源大数据开发平台E-MapReduce（简称EMR）是运行在阿里云平台上的一种大数据处理系统解决方案。EMR基于开源的Apache Hadoop和Apache Spark，让您可以方便地使用Hadoop和Spark生态系统中的其他周边系统分析和处理数据。EMR还可以与阿里云...

构建数据仓库

DataWorks具有通过可视化方式实现数据开发、治理全流程相关的核心能力，本文将为您介绍DataWorks在构建云上大数据仓库和构建智能实时数据仓库两个典型应用场景下的应用示例。构建云上大数据仓库本场景推荐的架构如下。适用行业：全行业...

自媒体：易撰

所属行业：自媒体网站地址：易撰客户介绍长沙营智信息技术有限公司是专业的新媒体大数据服务商，其旗下知名品牌易撰，基于新媒体大数据挖掘技术及NLP算法分析，为各内容创客、广告主提供全面、科学、精准的大数据分析服务以及大数据架构...

客户案例

价值体现从大数据平台上云整体“降本增效”的方案快速切入，迁移到大数据MaxCompute、实时计算、DataWorks后，部分任务有10倍以上的性能提升，存储从自建Hadoop 3PB降到900T，利用Flink实时数据处理能力，将宝宝树现有的场景实时化（...

查看报表

数据安全法报告从敏感数据态势、安全审计趋势、敏感数据保护、安全事件告警和数据风险评估五个维度针对您的数据库资产制定关于《数据安全法》的符合性报告，可以帮助管理人员、数据安全负责人、数据安全管理员掌握数据整体情况和增长趋势...

通用数据开发

通常数据开发的总体流程包括数据产生、数据收集与存储、数据分析与处理、数据提取和数据展现与分享。说明上图中，虚线框内的开发流程均可基于阿里云大数据平台完成。数据开发的流程如下所示：数据产生：业务系统每天会产生大量结构化的...

DataWorks V3.0

MaxCompute：大数据计算服务MaxCompute（原ODPS）是一种快速、完全托管的EB级大数据计算引擎，是大规模离线数据仓库的核心引擎。MaxCompute是DataWorks最早支持，且最成熟完备的计算引擎，目前已基本覆盖MaxCompute的所有功能。详情请参见 ...

敏感数据溯源

背景信息通过DataWorks的 数据保护伞的数据脱敏管理，开启目标数据识别规则的数据水印功能后，则在DataWorks中，对命中该规则的数据所执行的所有操作（例如查询、下载等）均会自动生成水印信息。水印信息用于记录用户的访问行为，...

DMS支持的数据库

关系型数据库 MySQL SQL Server PostgreSQL MariaDB OceanBase MySQL模式 OceanBase Oracle模式 OceanBase ODP Oracle DB2 达梦数据库 OpenGauss 数据仓库 ClickHouse SelectDB NoSQL数据库 Redis MongoDB 大数据 Hive 录入他云/自建数据库...

简介

系统兼容开源GeoMesa、GeoServer等生态，内置了高效的时空索引算法、空间拓扑几何算法、遥感影像处理算法等，结合云数据库HBase强大的分布式存储能力以及Spark分析平台能力，广泛应用于空间、时空、遥感大数据存储、查询、分析与数据挖掘...

数据分析整体趋势

大数据与数据库一体化：早期大数据技术以牺牲一定程度一致性为基础提供分布式能力，解决了传统单机数据库的扩展性不足问题，在MapReduce基础上提供了标准SQL接口，架构上也逐步采用了部分MPP数据库技术；另一方面，分布式数据库也快速发展...

OSS Foreign Table功能概览

与OSS External Table的对比 OSS Foreign Table在性能、功能以及稳定性上都优于OSS External Table，具体信息如下：功能 OSS Foreign Table OSS External Table 导入OSS数据或导出数据到OSS 支持支持 OSS数据分析（大数据量场景）大数据量...

概述

DataWorks（数据工场，原大数据开发套件）是阿里云重要的PaaS（Platform-as-a-Service）平台产品，为您提供数据集成、数据开发、数据地图、数据质量和数据服务等全方位的产品服务，一站式开发管理的界面，帮助企业专注于数据价值的挖掘...

管理敏感数据

实例已开通敏感数据保护功能。具体操作，请参见开通敏感数据保护。调整字段的安全级别登录数据管理DMS 5.0。在顶部菜单栏中，选择安全与规范>敏感数据管理>敏感数据资产。说明若您使用的是极简模式的控制台，请单击控制台左上角的 ...

云数据库录入

敏感数据保护 此功能可以实现对敏感数据进行管控和脱敏，根据您的业务需求选择是否开启此功能。详细信息，请参见开通敏感数据保护。分类分级模板若开启敏感数据保护，才会出现分类分级模板的配置项。可通过给实例绑定分类分级模板，识别...

账单数据订阅及查询分析

DataWorks及MaxCompute：DataWorks基于MaxCompute等大数据引擎，支持您在线进行SQL分析、业务洞察、编辑和分享数据，以及将查询结果保存为可视化图表卡片，快速搭建可视化数据报告。订阅账单数据后，用户中心会将相关账单数据同步至指定...

数据标准

数据是由特定的环境产生的，这些环境因素包括生产者、时间、系统等，从而造成了同一个语义的数据，有...说明目前使用DDM进行数据建模可以进行逻辑建模和物理建模，但物理建模仅支持MaxCompute和Hive两种大数据引擎，不支持自定义数据源类型。

使用DMS和DG管理本地或第三方云数据库

敏感数据保护 如果您有对敏感数据进行管控和脱敏的需求，可以使用敏感数据保护功能对数据库元数据进行扫描，识别、脱敏和管理敏感数据。高级信息环境类型选择数据库环境的类型。实例名称自定义实例的名称。开启跨库查询选择是否开启跨...

使用DMS和DG管理本地或他云数据库

敏感数据保护 如果您有对敏感数据进行管控和脱敏的需求，可以使用敏感数据保护功能对数据库元数据进行扫描，识别、脱敏和管理敏感数据。高级信息环境类型选择数据库环境的类型。实例名称自定义实例的名称。开启跨库查询选择是否开启跨...

大数据保护

新品推荐