云原生企业级数据湖解决方案
数据湖是统一存储池,可对接多种数据输入方式,您可以存储任意规模的结构化、半结构化、非结构化数据。数据湖可无缝对接多种计算分析平台,直接进行数据处理与分析,打破孤岛,洞察业务价值。同时,数据湖提供冷热分层转换能力,覆盖数据全生命周期。

方案架构

数据湖存储
对象存储OSS基于12个9的可靠性设计,可存储任意规模的数据,支持冷热分层,可对接业务应用、各类计算分析平台,非常适合企业基于OSS构建数据湖。
为什么基于OSS构建数据湖
海量弹性: 计算存储分离,存储规模弹性扩容
生态开放:对Hadoop生态友好,且无缝对接阿里云各计算平台
高性价比:统一存储池,避免重复拷贝,多种类型冷热分层
更易管理:加密、授权、生命周期、跨区复制等统一管理
解决的挑战
缺弹性:自建HDFS资源浪费,计算存储耦合扩容难
成本高:自建HDFS成本高,且缺乏数据冷热分层方案
缺服务:相比阿里云EMR等,自建大数据集群,缺乏专家支持
难管理:数据分散在多个集群,缺乏数据的统一管理
推荐产品

应用场景

开源生态构建数据湖
构建全托管式海量数仓
大数据冷热分层存储
海量数据的交互式查询
数据湖构建机器学习能力
开源生态构建数据湖
构建全托管式海量数仓
大数据冷热分层存储
海量数据的交互式查询
数据湖构建机器学习能力
应用场景
• 客户基于Hadoop生态构建数据处理与分析
• 广泛使用在互联网、金融、制造业、交通等各领域
用户痛点
• 数据规模增长快,存储资源与计算资源扩容速度不匹配,客户有成本优化需求
• 数据来源广,存储系统需要对接不同的数据源,包括应用数据
WHY 阿里云
• OSS能支撑 EB 规模的数据湖,支持多种数据通道,全面覆盖日志、消息、数据库、HDFS 各种数据源
• OSS 无缝对接EMR Hive、Spark、Presto、Impala 等大数据处理引擎,消除数据孤岛
• 阿里云 EMR 大数据专家级服务支持
• 阿里云 Data Lake Formation 提供数据湖元数据管理、数据湖加速等服务;EMR大数据专家级服务支持

应用实践

在线教育数据湖实践
在线游戏数据湖实践
互娱新媒体数据湖实践
互联网广告数据湖实践
用户数过亿的某在线教育平台
客户需求
课件素材、应用日志、学习采样等数据能够集中存储
能够对不同类型数据提供课件播放、离线分析、机器学习,实现在线教育不同场景的需求
客户价值
OSS支持音视频、图片、日志等各种类型数据集中存储,无缝对接大数据处理、教学课件点播分发

行业场景最佳实践

数据湖解决方案—游戏行业最佳实践
通过数据上云精细化运营,挖掘数据价值,提升游戏体验
Current Time 0:00
/
Duration Time -:-
Progress: NaN%

实操讲解

第一讲:高效迁移 HDFS 海量文件到 OSS ;第二讲:数据无忧:利用 checksum 迁移 HDFS 数据到 OSS
第三讲:如何将 HDFS 数据归档到 OSS;第四讲:如何将 Hive 数据按分区归档到 OSS
第五讲:访问 OSS 这类对象存储最快的方式:JindoFS SDK;第六讲:Hadoop/Spark 访问 OSS 加速

客户案例

流利说数据湖实践
易点天下数据湖实践
加和科技数据湖实践
观看视频
客户视频-流利说
通过阿里云为流利说量身打造的数据湖解决方案,解决了流利说多种应用的各类数据的统一存储,帮助流利说构建数据规模高达上千亿的“中国人英语语音数据库”。使用阿里云构建的数据湖,可以充分发挥计算与解耦合架构的优点,结合阿里云 ECS 弹性实例和 K8S,根据实际业务需求,动态扩展、缩减对应计算资源,无须按照业务峰值常驻计算资源,帮助流利说最大程度地优化成本。
观看视频
产品推荐
售前专家免费服务
联系专家:根据您提交的需求,将有售前专家免费服务!