客户案例 > 案例详情
替换Kudu,Hologres助力好未来网校实时数仓降本增效

学而思网校,作为好未来旗下在线教育品牌,在使用阿里云实时数仓Hologres替换Kudu OLAP引擎后,实现实时数仓降本增效,助力业务更加精细化增长。

客户介绍

好未来(NYSE:TAL)是一家以智慧教育和开放平台为主体,在全球范围内服务公办教育,助力民办教育,探索未来教育新模式的科技教育公司。好未来以“爱和科技让教育更美好”为使命,致力成为受尊敬的教育机构。当前,好未来已构建起从工具、平台到内容的多元化教育生态,满足从0岁到24岁各年龄段人群的学习需求。

好未来的前身是学而思,在 2003年成立,并在2010年于美国纽交所正式挂牌交易。目前,好未来旗下拥有学而思素养、学而思网校、彼芯、美校、学而思国际、学而思文创出版中心、学而思大学生、妈妈帮等品牌,并战略投资了赫石少儿体能等多个品牌。集团业务覆盖素质教育、技术服务、海外教育服务、数字内容出版、教育硬件、托管服务等领域。

学而思网校,作为好未来旗下在线教育品牌,为6-14岁的孩子提供素质教育服务。2008年成立至今,积累了十余年教研经验和学习数据,在家长间口口相传。学而思网校首创“直播+辅导”的双师教学模式,大力投入AI和全真互联网等前沿技术,持续推动教育创新。

业务挑战

学而思网校的实时数仓1.0自2019年起基于Kudu OLAP引擎搭建,初期运行良好且性能高。但随着2020年业务快速增长,数仓需求激增,Kudu出现技术瓶颈,成本和运维问题显现。在2021年7月教育行业政策的影响下,公司业务面临缩减和转型,导致资源浪费严重,促使公司寻求成本更低的实时数仓OLAP解决方案。

阿里云的解决方案
Hologres读写分离部署全面替换Kudu

通过Hologres替换了Kudu的所有数据处理链路,同时也通过Hologres读写分离部署的方式,以只读从实例(简称从库)替换了原PolarDB/MySQL等查询引擎,以此构成了实时数仓2.0。实时数仓2.0的数据链路如下。

1.数据分为离线和实时两部分。离线部分数据源数据通过集团采集工具T-Collect接入Hologres ODS层,实时部分通过Flink实时接入MySQL Binlog、埋点日志等数据入仓。

2.在Hologres中对数仓分为ODS、DWD、DWS、ADS等4层,每一层的数据通过集团T-Data平台分钟级调度、清洗,并最后由Hologres从库提供线上服务出口。

3.实时和离线数据统一由Hologres存储,并由从库作为查询引擎统一提供线上数据出口,支撑的业务场景包括实时看板、实时大屏、实时接口服务、实时推送等场景。

查询引擎统一切换到Hologres从实例

实时数仓1.0计算在Kudu中,算完之后把结果同步到查询引擎PolarDB或者MySQL中,实时链路相对来说比较长,而且数据移动成本也很高,对实时数据的稳定性有一定的影响。

实时数仓2.0中,我们采用Hologres共享存储多实例的高可用部署方案,Hologres主实例承载数据的加载、计算,从库共享主库的所有表和数据承载数据查询,实现读写分离方案,并且从库作为实时数仓唯一的数据出口,统一数仓技术架构。这种方案的好处是减少了ADS层数据同步导出链路的维护,降低了开发成本。

Hologres的共享存储多实例的高可用部署方案如下图所示。

业务价值

学而思网校实时数仓2.0经过半年多的建设,在成本治理上取得了非常好的效果。相比于1.0版实时数仓,阿里云实时数仓Hologres更加稳定、可靠,建设成本也更低,实现实时数仓降本增效,助力业务更加精细化增长。同时,好未来计划对外开放Hologres从库ADS层,分析师或者懂SQL的产品老师后期可通过集团T-Query平台查询工具对实时数据探索、分析,自满足部分临时需求,减少人工需求、释放实时数仓开发人力。另外基于Hologres的实时数仓架构在集团推广应用上也有比较成功的案例。

百万级写入和毫秒级查询能力

实际业务中,Hologres的写入能力达到百万行+/秒,业务能快速拿到数据并查询。同时Hologres在查询上不仅能支持秒级OLAP分析,还能支持在线服务毫秒级响应,使得业务探索数据的效率变得更快。通过Hologres多子实例的部署方式,天然支持了学而思网校网校实时数仓的多个查询场景,统一了数据的出口,简化了数仓的使用。同时Hologres写入和查询之间互不影响,非常有效地做到了读、写分离。

降低成本近百万/年

实时数仓底座升级Hologres后,无需维护多套系统。通过Hologres一套系统支持了实时数仓的全部场景,OLAP引擎成本相比Kudu节约了近百万/年的费用。在公司业务转型背景下,通过数据治理、任务治理等使得任务数下降80%,Yarn队列资源成本节约几十万/月,数据冗余存储减少90%,提升了数据的利用率。

减少运维压力

通过Hologres替换Kudu后,依托阿里强大的技术运维能力,很大程度上减少了我们在运维层面上的压力,更加专注于业务开发,有更多精力去做好实时数据的稳定性、准确性、及时性,把用户体验做好。周末、暑假等业务高峰资源不足时,可随时扩容,业务低峰时,可以对资源进行缩容处理,做到很好的一个资源伸缩和成本控制。

集团内Hologres实时数仓架构推广

网校实时数仓天然带有K9基因,希望学成功复制网校实时数仓2.0架构,并承载核心实时数据服务,比如实时续报、转化、企微等。

使用的阿里云产品
免费试用