01准备资源
这一步骤将帮助您完成所需资源的创建,包括RDS实例、Hologres实例和Flink工作空间。
02搭建实时数仓
这一步骤将引导您完成实时数仓的搭建。
03数据探查及应用
此方案的每一层数据都实现了持久化,这一步骤将进行中间数据探查,以及简单的实时报表应用场景查询。
04清理资源
完成教程学习后,你可以将模拟环境的资源释放掉,避免产生额外的费用。
通过Flink将数据源写入Hologres,形成ODS层。Flink订阅ODS层的Binlog进行加工,形成DWD层再次写入Hologres。Flink订阅DWD层的Binlog,通过计算形成DWS层,再次写入Hologres。最后由Hologres对外提供应用查询。
Hologres的每一层数据都支持高效更新与修正、写入即可查,解决了传统实时数仓解决方案的中间层数据不易查、不易更新、不易修正的问题。
Hologres的每一层数据都可单独对外提供服务,使得数据可以高效复用,真正实现数仓分层复用的目标。
实时ETL链路均基于Flink SQL实现;ODS层、DWD层和DWS层的数据统一存储在Hologres中,可以降低架构复杂度,提高数据处理效率。