美团 Flink 资源调度优化实践

美团 Flink 资源调度优化实践

摘要:本文整理自美团数据平台计算引擎组工程师冯斐,在 Flink Forward Asia 2022 生产实践专场的分享。本篇内容主要分为四个部分: 相关背景和问题解决思路分析资源调度优化实践后续规划 点击查看原文视频 & 演讲PPT 一、相关背景和问题 在计算规模方面,目前我们有 7w 多...

美团买菜基于 Flink 的实时数仓建设

美团买菜基于 Flink 的实时数仓建设

摘要:本文整理自美团买菜实时数仓技术负责人严书,在 Flink Forward Asia 2022 实时湖仓专场的分享。本篇内容主要分为四个部分: 背景介绍 技术愿景和架构设计 典型场景、挑战与应对 未来规划 点击查看原文视频 & 演讲PPT 一、背景介绍 美团买菜是美团自营生鲜零售平台,上...

实时数据分析:使用Flink实时发现最热Github项目

1 课时 |
404 人已学 |
免费

实时数据接入:5分钟上手 Flink MySQL 连接器

1 课时 |
204 人已学 |
免费

大数据知识图谱系列—基于ELK+Flink日志全观测最佳实践

1 课时 |
174 人已学 |
免费
开发者课程背景图
《Apache Flink 案例集(2022版)》——2.数据分析——美团-Flink 的实时数仓平台建设(1)

《Apache Flink 案例集(2022版)》——2.数据分析——美团-Flink 的实时数仓平台建设(1)

作者:姚冬阳 用户背景 美团作为一家吃、喝、行、游、购、娱一站式的平台,要创造的价值不仅是帮大家吃得更好,还要为人们的生活创造更多的价值,帮大家日常生活的方方面面变得更好,帮大家的旅行生活变得更好。 平台现状美团于 2018 年首次引入 Flink 实时计算引擎,当时的...

《Apache Flink 案例集(2022版)》——2.数据分析——美团-Flink 的实时数仓平台建设(2)

《Apache Flink 案例集(2022版)》——2.数据分析——美团-Flink 的实时数仓平台建设(2)

《Apache Flink 案例集(2022版)》——2.数据分析——美团-Flink 的实时数仓平台建设(1) https://developer.aliyun.com/article/1228308应用场景美团实时数仓业务主要包含两类实时生产链路:第一类应用场景是基于 FlinkSQL + OL...

《Apache Flink 案例集(2022版)》——2.数据分析——美团-Flink 的实时数仓平台建设(3)

《Apache Flink 案例集(2022版)》——2.数据分析——美团-Flink 的实时数仓平台建设(3)

《Apache Flink 案例集(2022版)》——2.数据分析——美团-Flink 的实时数仓平台建设(2) https://developer.aliyun.com/article/1228306对于上述问题,我们提出了冷热关联分离的解决方案。假设关联两天前的数据是相对低频的且状态回滚不会超过...

《Apache Flink 案例集(2022版)》——2.数据分析——美团-Flink 的实时数仓平台建设(4)

《Apache Flink 案例集(2022版)》——2.数据分析——美团-Flink 的实时数仓平台建设(4)

《Apache Flink 案例集(2022版)》——2.数据分析——美团-Flink 的实时数仓平台建设(3) https://developer.aliyun.com/article/1228304第 3 个问题是 FlinkSQL 调试繁琐,操作步骤多,业务需要创建额外的作业和 Kafka,还...

《基于Flink的美团点评实时计算平台实践和应用》电子版地址

《基于Flink的美团点评实时计算平台实践和应用》电子版地址

《基于Flink的美团点评实时计算平台实践和应用》基于Flink的美团点评实时计算平台实践和应用 电子版下载地址: https://developer.aliyun.com/ebook/3562 电子书: </div>

美团 Flink 应用场景包括哪些?

美团 Flink 应用场景包括哪些?

美团基于 Flink 的实时数仓平台建设新进展

美团基于 Flink 的实时数仓平台建设新进展

摘要:本文整理自美团实时数仓平台负责人姚冬阳在 Flink Forward Asia 2021 实时数仓专场的演讲。主要内容包括:平台建设现状遇到的问题及解决未来规划点击查看直播回放 & 演讲PDF一、平台建设现状美团于 2018 年首次引入 Flink 实时计算引擎,当时的实时数仓概念还不...

【实时数仓篇】(01)美团 Flink 实时数仓应用2

【实时数仓篇】(01)美团 Flink 实时数仓应用2

4.3 DW层的建设解决原始数据中数据存在噪声、不完整和数据形式不统一的情况。形成规范,统一的数据源。如果可能的化尽可能和离线保持一致。4.4 实时数仓维度数据建设变化频率低的维度可以通过离线仓库的维度数据,同步到缓存,或者通过公共服务提数据。通过维度服务查询,对用户屏蔽细节。变化频率高的维度通过维...

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。

产品推荐

社区圈子

阿里云实时计算Flink
阿里云实时计算Flink
一套基于Apache Flink构建的一站式、高性能实时大数据处理平台,广泛适用于流式数据处理、离线数据处理、DataLake计算等场景。
199201+人已加入
加入
相关电子书
更多
基于 Flink SQL + Paimon 构建流式湖仓新方
基于 Flink CDC 打造 企业级实时数据集成方案
基于Flink的美团点评实时计算平台实践和应用
立即下载 立即下载 立即下载