数据湖-在线学习场景数据分析
场景描述 本场景以在线教育中一个答题闯关类的应用为 例，使用WebServer来模拟演示这类日志数据 的分析处理。通过Nginx和Pythonflask搭建 WebServer，模拟应用中的关键页面，比如登 录、课程内容等，之后构造若干用户使用的模拟 日志数据，投递到数据湖进行分析后获取应用 PV、UV、课程内容访问排行、平均得分等等。 解决问题 基于数据湖（EMR+OSS）搭建大数据平台。 EMR和OSS使用和配置。 数据统一存储到OSS。 产品列表 E-MapReduce 对象存储OSS 云服务器ECS 访问控制RAM 专有网络VPC
附录-TPCDS 本章使用hive-testbench对jindofs和OSS分别进行性能测试，并进行对比，测试方 法参考《EMR本地盘实例大规模数据集测试最佳实践》：https://www.aliyun.com/acts/best-practice/preview?&id=52141 本次测试集群配置：节点 配置 数量 Master 16C/64G/80GBESSD 1 Core 16C/64G/80GBESSD*4 6 存储 OSS标准型 NA 4.1....
- 产品推荐
- 这些文档可能帮助您