技术解决方案

高效低延迟的实时数据处理,支持高并发、弹性伸缩、多数据源及复杂事件处理。

实时计算 Flink 版
  • Flink 与 Hologres 搭建实时数仓

Flink 与 Hologres 搭建实时数仓

方案优势

icon

高性能

Hologres与Flink原生深度集成,通过内置连接器,支持源表、结果表、维度表多种场景,支持宽表Merge、局部更新等操作,支持海量数据高性能的实时写入与更新,数据写入即可查询。

icon

高可用

Hologres提供了主从多实例部署方式或计算组实例实现资源强隔离,写入、读取、分析等作业之间互不干扰,从而保证Flink对Hologres Binlog的数据拉取不影响线上服务。

icon

低运维

全链路通过Flink和Hologres完成,实时ETL链路通过Flink SQL实现,数据​统一存储在Hologres,Hologres提供对外提供在线服务和OLAP查询,每层数据可复用、可查,只需一套系统就能满足业务需求,降低运维压力和运维成本。

方案介绍

本方案将 Hologres 与 Flink 深度集成,提供一体化的实时数仓联合解决方案,实现了数仓分层之间实时数据的高效流动,解决实时数仓分层问题。本方案能够支撑实时推荐、实时风控等多种实时数仓应用场景,满足企业的实时分析需求,具有中间层数据可查、支持数仓分层复用和架构简单等优势。
logo
通过 Flink 将数据源写入 Hologres,形成 ODS 层。Flink 订阅 ODS 层的 Binlog 进行加工,形成 DWD 层再次写入 Hologres。Flink 订阅 DWD 层的 Binlog,通过计算形成 DWS 层,再次写入 Hologres。最后由 Hologres 对外提供应用查询。
部署时长:90 分钟
预估费用:35 元(假设您选择的是本方案示例的资源规格,且资源运行时间不超过 1.5 小时,数据源 3 张表约 20 条数据。具体价格与您选择的资源规格、数据量、运行时长等有关,请以控制台显示的实际报价以及最终账单为准)
适用客户:有需要数据实时处理、高并发查询能力的业务场景寻求简化数据架构与降低运维成本的用户