开源大数据平台 E-MapReduce

弹性稳定、存算分离,帮您快速构建AI时代开源大数据平台底座

  • 100% 兼容开源

    100% 采用社区开源组件,随开源版本升级迭代
  • 安全可靠

    分钟级搭建大数据计算环境,智能诊断分析,Kerberos身份认证,数据加密等
  • 节约成本

    计算资源按需使用,自动数据冷热分层存储, 支持阿里云抢占式实例等
  • 弹性资源

    支持按负载/时间配置规则,分钟级弹性伸缩, 支持多种弹性资源类型
  • 产品动态
    产品简介
    阿里云开源大数据平台(E-MapReduce,简称EMR)是基于开源框架的一站式大数据处理服务,提供智能数据湖方案。支持大数据处理的各类场景,无缝对接阿里云多种服务,支持分钟级快速部署、弹性扩容,拥有高可用架构,服务可用性高达99.9%,数据可靠性达99.9999999%。广泛应用于日志分析、客户画像、物联网数据分析、金融数据分析等领域。助您降低 IT 成本,提升运维效率,使您更专注于核心业务创新。在大数据处理领域处于领先地位。
    开源大数据平台 E-MapReduce
    图片

    Gartner®

    国际权威咨询机构 IDC (国际数据有限公司) 中国首次发布了《IDC MarketScape: 中国实时湖仓市场 2024 年厂商评估》,凭借领先的产品技术服务及市场策略,​阿里云在首次报告发布即入选领导者类别。​其中,阿里云在​能力维度获中国第一​。​
    国际权威咨询机构 IDC (国际数据有限公司) 中国首次发布了《IDC MarketScape: 中国实时湖仓市场 2024 年厂商评估》,凭借领先的产品技术服务及市场策略,​阿里云在首次报告发布即入选领导者类别。​其中,阿里云在​能力维度获中国第一​。​
    安全合规

    阿里云 EMR 提供全面的安全防护与合规支持,涵盖网络隔离、认证授权、加密、审计等多维度安全机制,保障数据机密性、完整性和可用性。具备多项国内外权威合规资质,如等保二级、三级、ISO 27001、ISO 27701、GDPR 等,满足金融、政务、医疗等多行业严格合规要求。

    卡片头部图

    基础设施安全

    操作系统加固与漏洞管理:对底层主机操作系统进行安全加固,定期检测并修复漏洞,防止恶意攻击利用系统漏洞入侵,保障主机基础运行环境安全。
    恶意软件防护:部署专业的防病毒和反恶意软件解决方案,实时监测主机系统,及时发现并清除病毒、木马、勒索软件等恶意程序,守护主机健康运行。
    镜像安全扫描:在容器镜像构建和部署阶段进行严格的安全扫描,检测镜像中的漏洞、恶意软件和配置错误,阻止不安全镜像投入使用,从源头保障容器安全。
    运行时防御:监控容器运行时行为,及时发现并阻止异常活动,如未经授权的进程执行、文件系统篡改等,维持容器正常运行状态,防范容器逃逸等安全威胁。
    卡片头部图

    网络安全

    VPC 隔离:支持在阿里云专有网络 VPC 环境中部署 EMR 集群,通过软件定义网络技术,实现与其他网络环境的逻辑隔离,防止网络流量互相干扰和恶意访问,构建专属安全网络空间。
    安全组规则定制:利用安全组精细化管控出入集群的网络流量,可根据业务需求设置精确的访问规则,允许或拒绝特定 IP、端口的访问请求,为集群网络访问增设防火墙,保障网络安全。
    攻击检测与清洗:配备专业的 DDoS 防护能力,实时监测网络流量,精准识别各类 DDoS 攻击行为,迅速启动清洗机制,过滤恶意流量,确保合法业务流量正常通行,保障集群网络服务不间断。
    大流量黑洞保护:当遭受超大规模 DDoS 攻击时,触发黑洞路由机制,将恶意流量迅速导入黑洞,避免对整个网络造成瘫痪,保障其他正常业务稳定运行,降低攻击损失。
    卡片头部图

    数据安全

    数据落盘加密:对存储在磁盘中的数据进行加密处理,无论是集群本地存储还是云端对象存储,采用强加密算法保障数据静态存储安全,即使物理介质被盗或丢失,数据也无法被非法获取和读写。
    密钥管理服务集成:无缝集成阿里云密钥管理服务(KMS),实现加密密钥的集中安全管控,用户可自主控制密钥的生成、分发、轮换和销毁,满足不同数据安全级别要求,确保数据加密过程严谨可控。
    端到端 SSL/TLS 加密:在数据传输过程中,全面启用 SSL/TLS 加密协议,确保客户端与 EMR 集群、集群内部各节点之间传输的数据完整性和保密性,防止数据在传输途中被窃听、篡改或劫持,保障数据传输链路安全。
    数据完整性校验:采用数据完整性校验算法,对传输中的数据块进行校验,及时发现并丢弃在传输过程中受损或被篡改的数据包,要求重新传输,确保接收端获取的数据准确无误,维护数据传输质量。
    客户案例

    开源大数据平台EMR为您提供安全可靠、弹性伸缩的云原生大数据平台,在不同行业内都沉淀了不少客户案例,为广大客户解决了诸多业务挑战。

    bannerbannerbannerbannerbannerbanner
    1
    迅雷
    迅雷原Hadoop集群面临资源弹性不足、运维复杂及成本管控难等痛点。通过迁移至阿里云EMR Serverless Spark,迅雷实现了计算资源按需弹性伸缩,大幅降低TCO。同时,借助自动解冻归档数据、Kyuubi交互式分析等能力,大作业提速约1小时,报表产出更稳定,夜间运维干预显著减少,实现了降本增效与业务交付确定性的双重提升。
    了解更多
    2
    喜马拉雅
    “阿里云的开源大数据平台可以兼容业界开源大数据协议,在合作的过程中,我们也能感受到阿里云开源开放的态度,这点非常符合喜马拉雅坚持走开源大数据的发展理念。”喜马拉雅大数据工程负责人陈叶超强调。
    了解更多
    3
    鹰角网络
    鹰角网络(Hypergryph)携手阿里云,基于EMR Serverless StarRocks构建高性能、弹性可扩展的实时数仓,解决ClickHouse架构下运维复杂、写入瓶颈与数据一致性等问题,实现查询性能提升30%、QPS承载提升5倍,显著增强稳定性与成本效益,支撑《明日方舟》等游戏精细化运营,助力实时数据分析能力跃升。
    了解更多
    4
    猿辅导
    “为了应对不同的业务场景,我们希望能够有一个引擎,可以完成在 AP 场景下的统一,这时就发现了 StarRocks, StarRocks 借助于它本身优秀的向量化引擎的能力,能够在大部分场景下性能提升显著,因此我们决定将更多的场景基于 StarRocks 来做。”猿辅导大数据平台团队负责人申阳强调。
    了解更多
    5
    微财
    微财科技选择基于 EMR Serverless Spark 建立数据平台,有了单独的资源池进行模型训练,避免了资源冲突,同时还解决了存算分离架构下需要处理 Shuffle 稳定性和性能问题的困扰。
    了解更多
    6
    碧桂园
    碧桂园服务通过引入 EMR Serverless StarRocks 存算分离架构,解决了海量数据处理中的资源利用率低、并发能力不足等问题,显著降低了硬件和运维成本。实时查询性能提升8倍,查询出错率减少30倍,集群数据 SLA 达99.99%。此次技术升级不仅优化了用户体验,还结合AI打造了“一看”和“—问”智能场景助力精准决策与风险预测。
    了解更多