大数据平台安全-大数据平台安全文档介绍内容-阿里云

平台安全诊断

DataWorks的平台安全诊断，为您提供了当前DataWorks工作空间与绑定的引擎在数据传输、存储、运算等过程中，与身份认证、访问权限控制、开发模式等功能相关的安全能力，以及诊断相关安全问题的最佳实践，帮助您及时发现平台的安全隐患，在...

数据安全治理的必要性

其中，第4条“维护数据安全，应当坚持总体国家安全观，建立健全数据安全治理体系，提高数据安全保障能力”和第7条“国家保护个人、组织与数据有关的权益，鼓励数据依法合理有效利用，保障数据依法有序自由流动，促进以数据为关键要素的数字...

DataWorks数据安全治理路线

DataWorks基于数据安全治理的常见思路，针对资产梳理、技术体系建设和运营体系建设，提供了一系列数据安全产品能力，您可通过“基础防护建设、数据安全防护措施及策略增强建设、数据安全持续运营”三个阶段在DataWorks上落地数据安全治理...

概述

安全诊断的最佳实践安全中心提供的平台安全诊断、数据使用诊断等功能，在符合安全规范要求的前提下，为您提供了诊断各类安全问题的最佳实践。保障您的业务在最佳的安全环境，更有效的执行。详情请参见 平台安全诊断及数据使用诊断。

网络访问与安全设置

网络安全设置您可以通过设置网络安全白名单来限制StarRocks实例访问，以保证您的服务数据安全。网络安全设置包含VPC内网访问安全组白名单和公网访问控制策略白名单两部分。VPC内网访问安全组白名单在目标实例的实例详情页面，单击安全...

网络访问与安全设置

网络安全设置您可以通过设置网络安全白名单来限制Milvus实例的访问，以保证您的服务数据安全。网络安全设置包含VPC内网访问安全组白名单和公网访问控制策略白名单两部分。VPC内网访问安全组白名单（内网访问控制）在目标实例的实例详情 ...

大数据安全治理的难点

您需要了解哪些资产需要被保护、资产存在的风险、企业/组织是否合规、如何处理内放攻防、如何落地安全运营等关键问题，才能有效落地数据安全治理。同时，大数据系统基于“存储、用户、入口、流转、交付”等多方面的特点，存在诸多安全治理...

授权信息

本文为您介绍开源大数据平台 E-MapReduce（EMR）为RAM权限策略定义的操作（Action）、资源（Resource）和条件（Condition）。开源大数据平台 E-MapReduce（EMR）的RAM代码（RamCode）为 emr,emr-apm-server,ecm,emr-serverless-spark,dls...

DataWorks产品安全能力介绍

为充分契合数据安全治理的核心理念与通用思路，DataWorks针对资产梳理、技术体系/运营体系建设提供了一系列全面的数据安全产品能力，基于“I（Identify）P（Protect）D（Detect）R（Respond）”理论框架，从资产识别、安全防护、行为检测、...

E-MapReduce本地盘实例大规模数据集测试

大数据基准测试用于公平、客观评测不同大数据产品/平台的功能和性能，对用户选择合适的大数据平台产品具有重要的参考价值，TPC-DS逐渐成为了业界公认的大数据系统测试基准。本文以阿里云E-MapReduce+D1本地盘方案模拟TPC-DS测试的演示方案...

快速体验

大数据存储与计算：云原生大数据计算服务 MaxCompute（必选）、实时数仓Hologres（可选）、开源大数据平台E-MapReduce（可选），您可根据需要开通MaxCompute、Hologres或E-MapReduce。数据开发与调度：大数据开发治理平台 DataWorks数据...

什么是EMR on ACK

阿里云E-MapReduce（简称EMR）on ACK提供了全新构建大数据平台的方式。您可以将开源大数据服务部署在阿里云容器服务Kubernetes版（ACK）之上，利用ACK在服务部署和容器应用管理的优势，减少对底层集群资源的运维投入，以便于您可以更加专注...

典型场景

基于湖构建数据平台，支持BI、挖掘等业务对象存储OSS可以作为湖存储，DLA基于OSS构建一站式的大数据平台。具体包括构建数据湖、数据ETL、交互式查询、机器学习等功能。构建数据湖实时数据湖：支持DB的CDC与消息数据（如Kafka）入湖，构建...

DataWorks on EMR数据安全方案

在大数据领域，阿里云为企业用户提供了一整套数据安全方案，包含用户认证、数据权限、大数据作业管理体系等。本文以联合使用DataWorks与EMR为例，为您介绍DataWorks on EMR场景下的数据安全方案。背景信息 DataWorks on EMR目前支持LDAP...

通用数据开发

说明上图中，虚线框内的开发流程均可基于阿里云大数据平台完成。数据开发的流程如下所示：数据产生：业务系统每天会产生大量结构化的数据，存储在业务系统所对应的数据库中，包括MySQL、Oracle和RDS等类型。数据收集与存储：您需要同步...

Paimon概述

目前阿里云开源大数据平台E-MapReduce常见的计算引擎（例如Flink、Spark、Hive或Trino）都与Paimon有着较为完善的集成度。您可以借助Apache Paimon快速地在HDFS或者云端OSS上构建自己的数据湖存储服务，并接入上述计算引擎实现数据湖的分析...

ClickHouse概述

开源大数据平台E-MapReduce（简称EMR）的ClickHouse提供了开源OLAP分析引擎ClickHouse的云上托管服务。EMR ClickHouse完全兼容开源版本的产品特性，同时提供集群快速部署、集群管理、扩容、缩容和监控告警等云上产品功能，并且在开源的基础...

数据服务概述

使用统一平台数据安全管控策略，通过API申请调用、鉴权控流、白名单等手段，降低数据安全管控成本。运维监控：支持对数据服务调用统计、调用日志明细信息查询，为运维人员和开发人员排查问题，及时发现并修正数据服务的调用异常。您可以...

应用场景

阿里云开源大数据平台E-MapReduce（简称EMR）具有广泛的应用场景。本文为您介绍EMR的主要应用场景。数据湖场景 DataLake集群类型提供了数据湖分析场景所需的服务和相关湖格式，包括Hadoop、OSS-HDFS、Hive、Spark、Presto等。通过选择OSS-...

阶段二：数据安全防护措施及策略增强建设

在该阶段，DataWorks为您提供了新人入职自动化授权、按需申请数据权限&多级审批、数据可用而不可见、数据完整性与可用性专项治理等多个场景的最佳实践，帮助企业做好数据安全防护措施并建设更加完善的安全治理策略。场景一：新人入职自动化...

JindoFS实战演示

云上计算云下数据：HDFS缓存加速云上计算云下数据：HDFS缓存加速 2021-06-29 随着云计算越来越成熟，带来弹性扩容、运维方便、节省成本等优点，越来越多企业开始将大数据平台搬到云上。云下的HDFS集群存在历史数据，其中可能包含敏感数据...

DataWorks交流钉钉群

DataWorks作为阿里云大数据平台操作系统，对接各种大数据计算引擎，以all in one box的方式提供专业高效、安全可靠的全域智能大数据平台，高效率完成数据全链路研发流程，建设企业数据治理体系，同时提供优质高效的交流服务，本文为您介绍...

权限管理与规范化数据开发

进入安全中心平台安全诊断，打开数据下载控制。操作详情请参见进入平台安全诊断。打开后即可实现 odpscmd tunnel download，数据下载权限需申请后才能执行。标准模式下的数据权限管理。在标准模式下，当数据产出至生产环境后，默认情况下...

安全中心

目前安全中心和数据管理中的申请或审批记录没有进行关联，如果需要查看在数据管理进行申请或审批的历史记录，请跳转至数据管理页面进行查看。是否可以通过安全中心的申请记录来回收权限？目前安全中心并非唯一的授权渠道，为了最大程度地...

阶段一：基础防护建设

例如：《金融数据安全分级指南 JR/T 0197-2020》《网络安全标准实践指南——网络数据分类分级指引》《信息安全技术个人信息安全规范 GB/T 35273—2020》《信息技术大数据数据分类指南 GB/T 38667-2020》《基础电信企业数据分类分级方法 YD/...

数据安全治理的常见思路

数据安全治理通常分为资产梳理及分类分级、风险评估、建设能力等三个阶段，您可参考本文了解各阶段的具体目标。数据安全治理通常会经历如下阶段。阶段一：摸清家底梳理资产摸清家底，产出《数据资产清单》。例如：本企业有哪些数据？服务...

配置StarRocks集群以访问高安全数据集群

如果您所使用的数据集群开启了Kerberos身份认证，那么在查询高安全集群数据时，您需要使用正确的Kerberos凭证进行身份验证。为了确保您具有合适的权限来访问数据，建议您按照本文的操作步骤来配置StarRocks集群。前提条件已创建包含了HDFS...

快捷模式与安全模式差异比对

DataWorks支持使用快捷模式及安全模式绑定EMR引擎，本文为您介绍快捷模式及安全模式的差异。EMR快捷模式及安全模式的差异如下表。模式类别描述权限管控适用场景快捷模式用于快速开展各类数据工作。使用该模式绑定EMR引擎时，阿里云主...

安全设置与其他

DataWorks支持丰富的数据开发配置，您可以在安全设置与其他页面控制是否脱敏展示返回结果中的敏感信息；是否安全隔离代码与日志；是否进行代码强制评审，把控开发任务的代码质量；是否强制执行冒烟测试，保障任务的正确性；批量删除无用的...

阶段三：数据安全持续运营

通常，企业数据开发人员、分析人员只允许在数据平台上浏览及使用数据，不允许将明细数据下载至本地进行分析。数据导出到本地后将无法审计其使用行为，若使用不当或遇到别有用心者，将导致数据被滥用、泄露，严重则可能产生数安事件及风险...

附录：ECS自建数据库的安全组配置

如果您使用的是ECS自建数据库，必须添加安全组才能保证资源组可正常读写数据源的数据，本文为您介绍选择不同区域的DataWorks时，如何配置ECS自建数据库的安全组。前提条件已完成资源组与数据源之间的网络连通配置，详情可参见选择网络...

简介

典型案例&架构航海船舶大数据平台 场景：全球AIS船舶实时位置数据，每天上亿条轨迹写入，要求轨迹时空/时序查询秒级响应，具体包括：监管区域实时地理围栏判断。轨迹区域回放（指定区域+指定时间段）。轨迹回放（指定时间段查询）。架构...

核心能力

数据资源平台提供了一站式数据资产定义、生产、管理与服务平台，提供企业级数据资产构建能力和一致性使用体验，助力客户快速构建数据智能平台，实现数据资源统一管理，挖掘潜在规律，优化业务决策，让大数据真正的驱动客户业务。...

什么是数据资源平台

阿里云数据资源平台是数据资产定义、加工、管理、服务的全流程平台，提供数据同步、数据查询、数据标准、数据建模、数据加工、质量评估、业务模型构建、资产管理、数据服务等功能，为智能数据应用持续稳定供给全量、标准、干净、智能的数据...

选型配置说明

HDFS、YARN、Hive、Spark、Presto、Impala、JindoData、DeltaLake、Hudi、Iceberg、OpenLDAP、Knox、Kyuubi等 Dataflow 实时数据流场景，其中核心组件Flink是阿里云提供的基于Apache Flink和E-MapReduce Hadoop构建的企业级大数据计算平台...

发展历程

关键性里程碑 2009年9月，ODPS（即现在的MaxCompute）大数据平台飞天项目正式启动。2010年10月，阿里巴巴集团自主研发的第一代云计算平台稳定运行。2013年8月，平台的单集群规模已达到5000台。2014年7月，平台开始对外提供服务，完全替换...

DataWorks快速入门指引

DataWorks基于MaxCompute、Hologres、EMR、AnalyticDB、CDP等大数据引擎，为数据仓库、数据湖、湖仓一体等解决方案提供统一的全链路大数据开发治理平台，为了便于新用户快速了解DataWorks的数据开发治理操作全流程，DataWorks为您提供了...

产品简介

大数据专家服务大数据专家服务（Bigdata Expert Service）是由阿里云大数据专家基于阿里云多年大数据架构、应用、运维、AI算法建模等最佳实践经验及方法论为用户...，赋能技术团队具备大数据平台建设、架构设计、AI算法建模以及运维保障能力...

管理安全组

安全组用于设置集群内ECS实例的网络访问控制，是重要的安全隔离手段。本文为您介绍如何添加安全组及安全组规则。背景信息您在创建E-MapReduce集群时，可以使用已有的安全组或者新建安全组，对某个安全组下的所有ECS实例的出方向和入方向...

大数据平台安全

新品推荐