授权信息
本文为您介绍 开源大数据平台 E-MapReduce（EMR）为RAM权限策略定义的操作（Action）、资源（Resource）和条件（Condition）。开源大数据平台 E-MapReduce（EMR）的RAM代码（RamCode）为 emr,emr-apm-server,ecm,emr-serverless-spark,dls...
什么是EMR on ACK
阿里云E-MapReduce（简称EMR）on ACK提供了全新构建大数据平台的方式。您可以将开源大数据服务部署在阿里云容器服务Kubernetes版（ACK）之上，利用ACK在服务部署和容器应用管理的优势，减少对底层集群资源的运维投入，以便于您可以更加专注...
典型场景
基于湖构建数据平台，支持BI、挖掘等业务 对象存储OSS可以作为湖存储，DLA基于OSS构建一站式的大数据平台。具体包括构建数据湖、数据ETL、交互式查询、机器学习等功能。构建数据湖 实时数据湖：支持DB的CDC与消息数据（如Kafka）入湖，构建...
全景视角
背景信息 为提高不同使用场景下的数据治理效率和质量，DataWorks为您提供以下视角：数据管理视角：在数据资产管理、数据安全加固、数据权限管理等数据管理场景下，建议您使用数据管理视角，关注查看数据管理过程中，表的统计数据、安全权限...
通用数据开发
说明 上图中，虚线框内的开发流程均可基于阿里云大数据平台完成。数据开发的流程如下所示：数据产生：业务系统每天会产生大量结构化的数据，存储在业务系统所对应的数据库中，包括MySQL、Oracle和RDS等类型。数据收集与存储：您需要同步...
Paimon概述
目前阿里云开源大数据平台E-MapReduce常见的计算引擎（例如Flink、Spark、Hive或Trino）都与Paimon有着较为完善的集成度。您可以借助Apache Paimon快速地在HDFS或者云端OSS上构建自己的数据湖存储服务，并接入上述计算引擎实现数据湖的分析...
简介
系统兼容开源GeoMesa、GeoServer等生态，内置了高效的时空索引算法、空间拓扑几何算法、遥感影像处理算法等，结合云数据库HBase强大的分布式存储能力以及Spark分析平台能力，广泛应用于空间、时空、遥感大数据存储、查询、分析与数据挖掘...
DataWorks交流钉钉群
DataWorks作为阿里云大数据平台操作系统，对接各种大数据计算引擎，以all in one box的方式提供专业高效、安全可靠的全域智能大数据平台，高效率完成数据全链路研发流程，建设企业数据治理体系，同时提供优质高效的交流服务，本文为您介绍...
ClickHouse概述
开源大数据平台E-MapReduce（简称EMR）的ClickHouse提供了开源OLAP分析引擎ClickHouse的云上托管服务。EMR ClickHouse完全兼容开源版本的产品特性，同时提供集群快速部署、集群管理、扩容、缩容和监控告警等云上产品功能，并且在开源的基础...
数据服务概述
使用统一平台数据安全管控策略，通过API申请调用、鉴权控流、白名单等手段，降低数据安全管控成本。运维监控：支持对数据服务调用统计、调用日志明细信息查询，为运维人员和开发人员排查问题，及时发现并修正数据服务的调用异常。您可以...
应用场景
阿里云开源大数据平台E-MapReduce（简称EMR）具有广泛的应用场景。本文为您介绍EMR的主要应用场景。数据湖场景 DataLake集群类型提供了数据湖分析场景所需的服务和相关湖格式，包括Hadoop、OSS-HDFS、Hive、Spark、Presto等。通过选择OSS-...
JindoFS实战演示
云上计算云下数据：HDFS缓存加速 云上计算云下数据：HDFS缓存加速 2021-06-29 随着云计算越来越成熟，带来弹性扩容、运维方便、节省成本等优点，越来越多企业开始将大数据平台搬到云上。云下的HDFS集群存在历史数据，其中可能包含敏感数据...
查看安全加固详情
说明 在创建加固任务时，如果选择了对类或 So 文件、Assets 文件进行加固，则在该任务的 安全加固详情 页面上可以看到 安全加固的类、安全加固的 So 文件 和 安全加固的 Assets 文件 的相关信息。操作步骤 可以查看状态为 已加固 任务的...
相关的云服务
本文为您介绍典型场景下，使用开源大数据平台E-MapReduce时通常会使用到的其他云服务。云服务名称 说明 云服务器ECS 使用云服务器ECS（Elastic Compute Service）作为集群的节点，每个ECS实例集群中的一个节点。专有网络VPC 专有网络VPC...
核心能力
数据资源平台提供了一站式数据资产定义、生产、管理与服务平台，提供企业级数据资产构建能力和一致性使用体验，助力客户快速构建数据智能平台，实现数据资源统一管理，挖掘潜在规律，优化业务决策，让大数据真正的驱动客户业务。...
ECS的安全责任共担模型
云上安全的重要性 随着互联网的快速发展，在过去几十年，我国持续不断地完善并推出了两百多部网络与数据安全相关的法律法规，包括网络安全治理的国家基本法《网络安全法》、数据安全的国家基本法《数据安全法》等，对企业的业务安全和数据...
什么是数据资源平台
阿里云数据资源平台是数据资产定义、加工、管理、服务的全流程平台，提供数据同步、数据查询、数据标准、数据建模、数据加工、质量评估、业务模型构建、资产管理、数据服务等功能，为智能数据应用持续稳定供给全量、标准、干净、智能的数据...
服务授权
SSO授权 您需要通过创建可信实体为身份提供商的RAM角色，实现企业IdP与阿里云的角色SSO（Single Sign On，单点登录），以便安全管家服务获取完整的云资源的风险评估、安全加固等数据。前提条件 您已获取安全管家服务授权证明所需的XML证书...
创建安全加固
应用的安全加固指对应用整体以及核心类进行加固，本节引导您完成创建加固任务的完整流程。移动应用安全加固支持加固的对象包括：APK/AAB 整体：对 APK/AAB 整体进行安全保护，提供 APK/AAB 防反编译保护、DEX 文件整体加壳保护、DEX 文件防...
选型配置说明
HDFS、YARN、Hive、Spark、Presto、Impala、JindoData、DeltaLake、Hudi、Iceberg、OpenLDAP、Knox、Kyuubi等 Dataflow 实时数据流场景，其中核心组件Flink是阿里云提供的基于Apache Flink和E-MapReduce Hadoop构建的企业级大数据计算平台...
安全中心
企业安全中心提供了数据安全评分和安全风险事件提醒功能，及时检测企业代码资产的安全状态，实现安全预防、风险检测、主动防御的全方位保护。安全总览分为两个部分：安全评分和安全分析。安全评分 安全评分通过备份与恢复、安全与加密、...
安全管家服务
安全加固方案包括以下几个方面：网络安全策略调整，如网络架构调整、安全组策略加固等 对RDS、OSS等云产品进行安全加固 对ECS操作系统进行安全基线加固和补丁升级 对Apache、Nginx等应用软件进行安全加固 考虑到客户生产环境的依赖性和复杂...
发展历程
关键性里程碑 2009年9月，ODPS（即现在的MaxCompute）大数据平台飞天项目正式启动。2010年10月，阿里巴巴集团自主研发的第一代云计算平台稳定运行。2013年8月，平台的单集群规模已达到5000台。2014年7月，平台开始对外提供服务，完全替换...
什么是云安全中心
云安全中心依托大数据安全分析平台，通过机器学习和数据建模发现潜在的入侵和攻击威胁，建立以云安全中心为核心的威胁检测体系。通过对用户海量数据的实时分析，安全事件关联查询，发现用户网络和业务系统中的异常行为，并进行威胁告警。...
快速体验
数据治理：大数据开发治理平台 DataWorks数据质量（必选）、大数据开发治理平台 DataWorks数据地图（必选）、大数据开发治理平台 DataWorks数据保护伞（必选），基础版DataWorks已包含。数据展示：智能分析套件Quick BI（必选），您可根据...
产品概述
背景信息 随着国家对数据安全和个人敏感信息的加强监管，原子化的数据安全能力已无法满足监管要求，国家标准和行业标准逐渐提出数据全生命周期的安全保障的需求，传统的三方安全加固和客户端加密都在客户成本、架构改造、数据库性能等带来...
产品概述
背景 随着国家对数据安全和个人敏感信息的加强监管，原子化的数据安全能力无法满足监管要求，国家标准和行业标准逐渐提出数据全生命周期的安全保障的需求，传统的三方安全加固和客户端加密都在客户成本、架构改造、数据库性能等带来了不同...
产品概述
背景信息 随着国家对数据安全和个人敏感信息的加强监管，原子化的数据安全能力已无法满足监管要求，国家标准和行业标准逐渐提出数据全生命周期的安全保障的需求，传统的三方安全加固和客户端加密都在客户成本、架构改造、数据库性能等带来...
什么是安全管家
大数据加持 阿里云安全集中汇聚 云安全中心、云防火墙、Web 应用防火墙、DDoS 防护 等安全防护数据，覆盖VPN网络、ECS、Web应用、数据库防护等多层面防护，基于多年实战积累的数据挖掘技术，为每一位云上用户提供攻防实战情报。同时，安全...
AliPG优势
AliPG兼容PostgreSQL开源数据库，于2015年正式商用，目前支持10及以上的大版本，已稳定运行多年，支撑了大量阿里巴巴集团内部以及云上的客户业务。采用AliPG的阿里云数据库产品 RDS PostgreSQL 支持的版本 PostgreSQL 10及以上 优势 AliPG...
产品简介
服务内容 服务大类 服务类型 服务内容 大数据专家咨询服务 大数据技术架构方案咨询 为客户提供构建和优化大数据体系的技术架构方案咨询服务，覆盖离线/实时数仓体系建设管理、数仓建模管理，数据开发管理，数据安全管理、数据质量管理、...
安全服务
安全加固服务 安全管家提供基于安全评估发现的问题实施安全加固指导服务，提高操作系统或网络设备安全性和抗攻击能力。在对系统作相应的安全配置后，结合定期的安全评估和维护服务，使得系统保持在一个较高的安全线。安全事件应急响应 安全...
搜索及删除任务
在安全加固列表，您可以搜索和删除加固任务。搜索任务 您可根据应用名称或包名在安全加固列表中搜索目标任务。操作方法如下。在安全加固列表右上方的搜索框中，输入应用名称或包名关键字，系统将根据输入的内容，实时搜索安全加固列表。...
功能概述
针对不同业务场景所面临的不同数据安全问题，以下列举了一些全密态数据库适用的典型场景：平台安全运维：该场景主要针对在不可信环境（如第三方平台）下提供的数据库服务的安全防护，保证用户数据在运维过程中的安全。在一般的应用场景中，...
自研内核
AliSQL在功能、性能、稳定和安全方面进行了诸多优化创新，典型的有：Thread Pool 实现Listener-Worker处理模型，提升AliSQL的连接能力，并能够针对不同类型的操作进行并发优化，使RDS数据库在高连接大并发情况下始终保持高性能。...
应用安全
提供云上资产管理、配置核查、主动防御、安全加固、云产品配置评估和安全可视化等核心能力，同时结合云上海量日志、分析模型和超强算力，构建了云上强大的安全态势感知的综合能力平台，可有效发现和阻止病毒传播、黑客攻击、勒索加密、漏洞...
【产品变更】基于CIS的加固功能下线公告
为保证功能的平滑迁移，容器服务 Kubernetes 版 将同步上线 阿里云OS安全加固（简称“OS安全加固”）和 阿里云Kubernetes安全加固（简称“K8s安全加固”）功能。变更内容及影响范围 基于CIS的安全加固将于2024年04月24日正式下线。如您的...
DataWorks快速入门指引
DataWorks基于MaxCompute、Hologres、EMR、AnalyticDB、CDP等大数据引擎，为数据仓库、数据湖、湖仓一体等解决方案提供统一的全链路大数据开发治理平台，为了便于新用户快速了解DataWorks的数据开发治理操作全流程，DataWorks为您提供了...
下载安全加固包
安全加固包（以下简称加固包）指加固后的 APK/AAB。本节引导您通过加固任务卡片，下载任务的安全加固包。说明 在状态为 加固中 或 加固失败 的任务卡片中，不提供加固包的下载入口。操作方法如下：登录 mPaaS 控制台，在应用列表中选择目标...
云平台配置检查常见问题
云平台配置检查：从网络访问控制、数据安全、日志审计等多个维度提供针对数据库的安全配置检查，及时发现数据库配置风险并提供相应的修复方案。例如，检查数据库访问控制白名单、自动备份功能、日志审计功能、访问控制策略等。基线检查：...
- 产品推荐
- 这些文档可能帮助您