基于大数据技术的开源在线教育项目 三2

实时统计学员播放视频各时长用户在线播放视频进行学习课程,后台记录视频播放开始区间和结束区间,及播放开始时间和播放结束时间,后台手机数据传输kafka需要计算用户播放视频总时长、有效时长、完成时长,及各维度总播放时长。需求1:计算各章节下的播放总时长(按chapterid聚合统计播放总时长)需求2:计...

基于大数据技术的开源在线教育项目 三1

基于大数据技术的开源在线教育项目 三1

上篇文章我们介绍了离线数仓的做题模块,本文我们来看下在线教育项目的实时部分。本文代码可在开源项目https://github.com/SoundHearer/kuaiban中找到。实时部分的架构图如下原始数据格式及对应的topic实时统计注册人数topic:register_topic数据格式用户I...

阿里云大数据工程师ACA认证(2023版)

21 课时 |
807 人已学 |
免费

基于MaxCompute的热门话题分析

8 课时 |
329 人已学 |
免费

独家揭秘当下大数据体系

4 课时 |
331 人已学 |
免费
开发者课程背景图
基于大数据技术的开源在线教育项目 二2

基于大数据技术的开源在线教育项目 二2

创建DwdControllerimport com.catelf.qz.service.EtlDataService import com.catelf.util.HiveUtil import org.apache.spark.SparkConf import org.apache.spark.s...

基于大数据技术的开源在线教育项目 二1

基于大数据技术的开源在线教育项目 二1

上篇文章我们介绍了离线数仓的用户注册模块,本文我们来介绍做题模块模拟日志的数据格式如下,详细请参见我的开源项目 https://github.com/SoundHearer/kuaiban1.QzWebsite.log 做题网站日志数据 { "createtime": "2019-07-22 11:...

基于大数据技术的开源在线教育项目

基于大数据技术的开源在线教育项目

毫无疑问最近几年是在线教育和内容付费的风口期,尤其是今年,大量做教育的公司都获得数额不小的投资。我们不是要去追这个风口,而是因为在线教育的成熟,开始产生巨量有价值的数据,率先采用和融合大数据和AI技术的公司,必将强力推动公司的发展,从而转型成为科技公司。本文代码可以在github找到https://...

这5种必知的大数据处理框架技术,你的项目应该使用哪种?

大数据是收集、整理、处理大容量数据集,并从中获得见解所需的非传统战略和技术的总称。虽然处理数据所需的计算能力或存储容量早已超过一台计算机的上限,但这种计算类型的普遍性、规模,以及价值在最近几年才经历了大规模扩展。 本文将介绍大数据系统一个最基本的组件:处理框架。处理框架负责对系统中的数据进行计算,例...

这5种必知的大数据处理框架技术,你的项目应该使用哪种?

本文将介绍大数据系统一个最基本的组件:处理框架。处理框架负责对系统中的数据进行计算,例如处理从非易失存储中读取的数据,或处理刚刚摄入到系统中的数据。数据的计算则是指从大量单一数据点中提取信息和见解的过程。 下文将介绍这些框架: 仅批处理框架: Apache Hadoop 仅流处理框架: Apache...

这5种必知的大数据处理框架技术,你的项目到底应该使用其中的哪几种

大数据是收集、整理、处理大容量数据集,并从中获得见解所需的非传统战略和技术的总称。虽然处理数据所需的计算能力或存储容量早已超过一台计算机的上限,但这种计算类型的普遍性、规模,以及价值在最近几年才经历了大规模扩展。 本文将介绍大数据系统一个最基本的组件:处理框架。处理框架负责对系统中的数据进行计算,例...

这5种必知的大数据处理框架技术,你的项目应该使用哪种?

本文将介绍大数据系统一个最基本的组件:处理框架。处理框架负责对系统中的数据进行计算,例如处理从非易失存储中读取的数据,或处理刚刚摄入到系统中的数据。数据的计算则是指从大量单一数据点中提取信息和见解的过程。 本文将介绍大数据系统一个最基本的组件:处理框架。处理框架负责对系统中的数据进行计算,例如处理从...

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。

产品推荐

社区圈子

阿里巴巴大数据计算
阿里巴巴大数据计算
阿里大数据官方技术圈
347750+人已加入
加入
相关电子书
更多
阿里云开源大数据平台3.0 技术解读
聚星台—客户运营核心大数据 与算法技术
知识图谱、人工智能技术在大数据新能源 建设中的应用
立即下载 立即下载 立即下载

云原生大数据计算服务 MaxCompute技术相关内容

云原生大数据计算服务 MaxCompute更多技术相关

云原生大数据计算服务 MaxCompute您可能感兴趣