【实时数仓篇】(01)美团 Flink 实时数仓应用1
文章目录一、前言二、实时数仓建设目的三、实时数仓的应用场景四、如何建设实时数仓4.1 实时数仓的整体的架构图4.2 ODS层的建设4.3 DW层的建设4.4 实时数仓维度数据建设4.5 实时数仓维度的使用4.6 实时数仓汇总层的建设五、仓库的质量保证一、前言本文是学习Flink社区在B站的实时数仓篇...
美团 Flink 大作业部署与状态稳定性优化实践
摘要:本篇内容整理自美团数据平台工程师冯斐、王非凡在 Flink Forward Asia 2021 的演讲。主要内容包括:相关背景大作业部署优化Checkpoint 跨机房副本状态稳定性相关优化未来规划FFA 2021 直播回放 & 演讲 PDF 下载一、相关背景美团 Flink 的应用场...
Flink 助力美团数仓增量生产
本文由美团研究员、实时计算负责人鞠大升分享,主要介绍 Flink 助力美团数仓增量生产的应用实践。内容包括: 数仓增量生产 流式数据集成 流式数据处理 流式 OLAP 应用 未来规划 一、数仓增量生产 1.美团数仓架构 先介绍一下美团数仓的架构以及增量生产。如下图所示,这是美团数仓的简单架构,我把它...
从 Storm 迁移到 Flink,美团外卖实时数仓建设实践
作者:朱良 本文主要介绍一种通用的实时数仓构建的方法与实践。实时数仓以端到端低延迟、SQL 标准化、快速响应变化、数据统一为目标。 在实践中,我们总结的最佳实践是:一个通用的实时生产平台 + 一个通用交互式实时分析引擎相互配合同时满足实时和准实时业务场景。两者合理分工,互相补充,形成易于开发、易于维...
专治数仓疑难杂症!美团点评 Flink 实时数仓应用经验分享
整理 | 青渊(Flink 社区志愿者)校对 | 青雉(Flink 社区志愿者)作者 | 黄伟伦@美团点评 摘要:本文根据 Apache Flink 系列直播整理而成,由美团点评数据系统研发工程师黄伟伦老师分享。主要内容如下: 实时数仓建设目的 如何建立实时数仓 仓库质量保证 Tips:点击「阅读原...
美团点评基于 Flink 的实时数仓平台实践 | 1月3号云栖号夜读
点击订阅云栖夜读日刊,专业的技术干货,不容错过! 阿里专家原创好文 1.美团点评基于 Flink 的实时数仓平台实践 从整个实时计算角度来考虑,目前美团点评的实时计算平台的节点数已经达到了几千台,未来很可能会达到上万台,因此资源优化这件事情很快就会被提上日程。由于业务本身的流量存在高峰和低谷,对于一...
美团点评基于 Flink 的实时数仓平台实践
作者:鲁昊@美团点评 点击查看本场直播>>> 更多2019 Flink Forward 大会视频>>> 一、美团点评实时计算演进 美团点评实时计算演进历程 在 2016 年,美团点评就已经基于 Storm 实时计算引擎实现了初步的平台化。2017 年初,我们引入了...
美团点评基于 Flink 的实时数仓平台实践
作者:鲁昊@美团点评 一、美团点评实时计算演进 美团点评实时计算演进历程 在 2016 年,美团点评就已经基于 Storm 实时计算引擎实现了初步的平台化。2017 年初,我们引入了 Spark Streaming 用于特定场景的支持,主要是在数据同步场景方面的尝试。在 2017 年底,美团点评实时...
Flink在美团的实践与应用
作者: 刘迪珊 本文整理自8月11日在北京举行的Flink Meetup,分享嘉宾刘迪珊(2015年加入美团数据平台。致力于打造高效、易用的实时计算平台,探索不同场景下实时应用的企业级解决方案及统⼀化服务)。 美团实时计算平台现状和背景 实时平台架构 上图呈现的是当前美团实时计算平台的简要架构。最底...
本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。
实时计算 Flink版美团相关内容
实时计算 Flink版您可能感兴趣
- 实时计算 Flink版json
- 实时计算 Flink版oracle
- 实时计算 Flink版数组
- 实时计算 Flink版临时文件
- 实时计算 Flink版配置参数
- 实时计算 Flink版堆内存
- 实时计算 Flink版捕获
- 实时计算 Flink版办法
- 实时计算 Flink版表
- 实时计算 Flink版pg
- 实时计算 Flink版CDC
- 实时计算 Flink版数据
- 实时计算 Flink版SQL
- 实时计算 Flink版mysql
- 实时计算 Flink版同步
- 实时计算 Flink版报错
- 实时计算 Flink版任务
- 实时计算 Flink版版本
- 实时计算 Flink版kafka
- 实时计算 Flink版Apache
- 实时计算 Flink版配置
- 实时计算 Flink版设置
- 实时计算 Flink版 CDC
- 实时计算 Flink版模式
- 实时计算 Flink版运行
- 实时计算 Flink版数据库
- 实时计算 Flink版Yarn
- 实时计算 Flink版checkpoint