流批一体的近实时数仓的思考与设计

流批一体的近实时数仓的思考与设计

作者|张剑 摘要:基于对数据时间旅行的思考,引出了对目前三种数仓形态和两种数仓架构的思考。结合数据湖在 Flink 的应用和数据湖元数据类型的思考,探索了基于数据湖的 Flink SQL 流批一体的实践,在流批一体 SQL 表达一致、结果一致性、流批任务分离、混合调度依赖等进行了设计和探索。同时,欢...

基于实时计算Flink+Hologres流批一体的营销活动分析产品不仅支持了天猫事业群上千+小二的人

基于实时计算Flink+Hologres流批一体的营销活动分析产品不仅支持了天猫事业群上千+小二的人均上百PV高频访问,更实现了0 P1/P2故障的目标,同时整个产品在活动期间表现了相比往年更有优势的哪些方面?

实时数仓Hologres 干货20讲

20 课时 |
405 人已学 |
免费

实时数仓 Hologres 实战课程

5 课时 |
223 人已学 |
免费

实时数仓入门课程

7 课时 |
1889 人已学 |
免费
开发者课程背景图

通过 Hologres+Flink+MaxCompute 搭建的流批一体实时数仓平台,实现了什么业务

通过 Hologres+Flink+MaxCompute 搭建的流批一体实时数仓平台,实现了什么业务价值?

Hologres+Flink+MaxCompute 的流批一体实时数仓建设架构有什么好处?

Hologres+Flink+MaxCompute 的流批一体实时数仓建设架构有什么好处?

流批一体实时数仓阶段小迈数仓如何呈现?

流批一体实时数仓阶段小迈数仓如何呈现?

Hologres为什么要流批统一的存储?

Hologres为什么要流批统一的存储?

Hologres+Flink流批一体首次落地4982亿背后的营销分析大屏

Hologres+Flink流批一体首次落地4982亿背后的营销分析大屏

概要:刚刚结束的2020天猫双11中,MaxCompute交互式分析(Hologres)+实时计算Flink搭建的云原生实时数仓首次在核心数据场景落地,为大数据平台创下一项新纪录。借此之际,我们将陆续推出云原生实时数仓双11实战系列内容,本篇将重点介绍Hologres在阿里巴巴淘宝营销活动分析场景的...

基于 Flink + Hive 构建流批一体准实时数仓

基于 Flink + Hive 构建流批一体准实时数仓

基于 Hive 的离线数仓往往是企业大数据生产系统中不可缺少的一环。Hive 数仓有很高的成熟度和稳定性,但由于它是离线的,延时很大。在一些对延时要求比较高的场景,需要另外搭建基于 Flink 的实时数仓,将链路延时降低到秒级。但是一套离线数仓加一套实时数仓的架构会带来超过两倍的资源消耗,甚至导致重...

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。

产品推荐

社区圈子

实时数仓Hologres
实时数仓Hologres
Hologres是一站式实时数据仓库引擎,支持海量数据实时写入、实时更新、实时分析,支持标准SQL(兼容PostgreSQL协议),支持PB级数据多维分析(OLAP)与即席分析(Ad Hoc),支持高并发低延迟的在线数据服务(Serving),与MaxCompute、Flink、DataWorks深度融合,提供离在线一体化全栈数仓解决方案。欢迎加入钉群:实时数仓Hologres交流群32314975
2634+人已加入
加入
相关电子书
更多
Hologres物化视图升级 构建企业一站式实时数仓
Hologres Serverless之路:揭秘弹性计算组
Hologres 一站式实时数仓客户案例集
立即下载 立即下载 立即下载