Flink+Hologres搭建实时数仓

方案介绍
Flink+Hologres搭建实时数仓

通过Flink将数据源写入Hologres,形成ODS层。Flink订阅ODS层的Binlog进行加工,形成DWD层再次写入Hologres。Flink订阅DWD层的Binlog,通过计算形成DWS层,再次写入Hologres。最后由Hologres对外提供应用查询。

解决问题:中间层不易查

Hologres的每一层数据都支持高效更新与修正、写入即可查,解决了传统实时数仓解决方案的中间层数据不易查、不易更新、不易修正的问题。

解决问题:数据不可复用

Hologres的每一层数据都可单独对外提供服务,使得数据可以高效复用,真正实现数仓分层复用的目标。

解决问题:链路复杂,架构冗余

实时ETL链路均基于Flink SQL实现;ODS层、DWD层和DWS层的数据统一存储在Hologres中,可以降低架构复杂度,提高数据处理效率。

方案优势
高性能
Hologres与Flink原生深度集成,通过内置连接器,支持源表、结果表、维度表多种场景,支持宽表Merge、局部更新等操作,支持海量数据高性能的实时写入与更新,数据写入即可查询。
高可用
Hologres提供了主从多实例部署方式或计算组实例实现资源强隔离,写入、读取、分析等作业之间互不干扰,从而保证Flink对Hologres Binlog的数据拉取不影响线上服务。
低运维
全链路通过Flink和Hologres完成,实时ETL链路通过Flink SQL实现,数据​统一存储在Hologres,Hologres提供对外提供在线服务和OLAP查询,每层数据可复用、可查,只需一套系统就能满足业务需求,降低运维压力和运维成本。
应用场景
实时报表查询
支持各个业务方快速查询交易数据、行为数据、用户画像标签等报表。
实时推荐
基于实时用户行为数据,分析用户行为和兴趣,为用户提供针对性的推荐。
实时推荐
通过对业务数据进行实时处理和分析,实现对业务的实时监控,及时发现业务异常和问题。
方案部署
01准备资源
这一步骤将帮助您完成所需资源的创建,包括RDS实例、Hologres实例和Flink工作空间。
02搭建实时数仓
这一步骤将引导您完成实时数仓的搭建​​。
03数据探查及应用
此方案的每一层数据都实现了持久化,这一步骤将进行中间数据探查,以及简单的实时报表应用场景查询。
04清理资源
完成教程学习后,你可以将模拟环境的资源释放掉,避免产生额外的费用。
AnalyticDB MySQL湖仓版的用户运营分析实践
方案使用AnalyticDB MySQL湖仓版实现对应用数据的分析。过去的方案中,为了不影响在线分析的性能和稳定性,通常用两个实例,一个负责数据清洗,一个负责在线分析,但这种方案存在数据时效性差、一致性差、数据冗余的问题。本方案只需一个湖仓版实例就能完成“数据入湖+作业开发+在线分析”的一站式用户运营数据分析,提供更高效的数据处理方案与更低的数据存储成本。
高价值用户挖掘及触达
高价值用户挖掘及触达方案实现营销触达全链路。本方案使用阿里云机器学习平台PAI的强大算法能力,通过对用户数据的计算和预测,辅助客户对人群营销决策的判断,在用户召回,流失预测,高价值用户寻找等多个运营场景,帮助客户降低成本,提高效率;客户可通过短信的方式触达用户,完成营销触达的全链路操作。