从 Spark 做批处理到 Flink 做流批一体
本⽂由社区志愿者苗文婷整理,内容来源⾃ LinkedIn 大数据高级开发工程师张晨娅在 Flink Forward Asia 2020 分享的《从 Spark 做批处理到 Flink 做流批一体》,分享的主题是如何从 Spark 做批处理到 Flink 做流批一体,在 LinkedIn 的一些探索实...
Flink 1.13,面向流批一体的运行时与 DataStream API 优化
本文由社区志愿者苗文婷整理,内容来源自阿里巴巴技术专家高赟(云骞) 在 5 月 22 日北京站 Flink Meetup 分享的《面向流批一体的 Flink 运行时与 DataStream API 优化》。文章主要分为 4 个部分:回顾 Flink 流批一体的设计介绍针对运行时的优化点介绍针对 Da...
Flink 执行引擎:流批一体的融合之路
本文由 Apache Flink Committer 马国维分享,主要介绍 Flink 作为大数据计算引擎的流批一体融合之路。内容包括: 1、背景 2、流批一体的分层架构 3、流批一体DataStream 4、流批一体DAG Scheduler 5、流批一体的Shuffle架构 6、流批一体的容错策...
基于 Flink SQL 构建流批一体的 ETL 数据集成
本文整理自云邪、雪尽在 Flink Forward Asia 2020 的分享,该分享以 4 个章节来详细介绍如何利用 Flink SQL 构建流批一体的 ETL 数据集成, 文章的主要内容如下:数据仓库与数据集成数据接入(E)数据入仓/湖(L)数据打宽(T)数据仓库与数据集成数据仓库是一个集成的(...
官宣 | Apache Flink 1.12.0 正式发布,流批一体真正统一运行!
翻译 | 付典Review | 徐榜江、朱翥 Apache Flink 社区很荣幸地宣布 Flink 1.12.0 版本正式发布!近 300 位贡献者参与了 Flink 1.12.0 的开发,提交了超过 1000 多个修复或优化。这些修改极大地提高了 Flink 的可用性,并且简化(且统一)了 Fl...
从“流处理”到“流批一体”,Apache Flink 的19个企业最佳实践
近年来,随着实时化需求的场景日益增多,企业已不满足于简单使用流计算或批计算进行数据处理,采用一套引擎即可实现低延迟、高吞吐、高稳定的强大性能逐渐成为更多企业的追求。Apache Flink 作为领先的开源大数据计算引擎,在流批一体的探索上日臻成熟,并在稳定性、性能和效率方面都经受住了阿里巴巴双11的...
Hologres+Flink流批一体首次落地4982亿背后的营销分析大屏
概要:刚刚结束的2020天猫双11中,MaxCompute交互式分析(Hologres)+实时计算Flink搭建的云原生实时数仓首次在核心数据场景落地,为大数据平台创下一项新纪录。借此之际,我们将陆续推出云原生实时数仓双11实战系列内容,本篇将重点介绍Hologres在阿里巴巴淘宝营销活动分析场景的...
40亿条/秒!Flink流批一体在阿里双11首次落地的背后
作者:王峰(莫问)导读:今年的双11,实时计算处理的流量洪峰创纪录地达到了每秒40亿条的记录,数据体量也达到了惊人的每秒7TB,基于Flink的流批一体数据应用开始在阿里巴巴最核心的数据业务场景崭露头角,并在稳定性、性能和效率方面都经受住了严苛的生产考验。本文深度解析“流批一体”在阿里...
40亿条/秒!Flink流批一体在阿里双11首次落地的背后
作者 | 王峰(莫问)来源 | 阿里技术公众号随着 11 月 11 日 12 点钟声的敲响,2020 年双 11 的 GMV 数字定格在了 4982 亿,在 Flink 实时计算技术的驱动下全程保持了丝般顺滑滚动,基于 Flink 的阿里巴巴实时计算平台也圆满完成了今年双 11 整体经济体的实时数据...
基于 Flink + Hive 构建流批一体准实时数仓
基于 Hive 的离线数仓往往是企业大数据生产系统中不可缺少的一环。Hive 数仓有很高的成熟度和稳定性,但由于它是离线的,延时很大。在一些对延时要求比较高的场景,需要另外搭建基于 Flink 的实时数仓,将链路延时降低到秒级。但是一套离线数仓加一套实时数仓的架构会带来超过两倍的资源消耗,甚至导致重...
本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。
实时计算 Flink版您可能感兴趣
- 实时计算 Flink版并行度
- 实时计算 Flink版数据
- 实时计算 Flink版回滚
- 实时计算 Flink版同步
- 实时计算 Flink版批处理
- 实时计算 Flink版任务
- 实时计算 Flink版作业
- 实时计算 Flink版合流
- 实时计算 Flink版窗口
- 实时计算 Flink版算子
- 实时计算 Flink版报错
- 实时计算 Flink版oracle
- 实时计算 Flink版版本
- 实时计算 Flink版表
- 实时计算 Flink版配置
- 实时计算 Flink版设置
- 实时计算 Flink版 CDC
- 实时计算 Flink版模式
- 实时计算 Flink版运行
- 实时计算 Flink版数据库
- 实时计算 Flink版连接
- 实时计算 Flink版库
- 实时计算 Flink版全量
- 实时计算 Flink版参数
- 实时计算 Flink版集群
- 实时计算 Flink版日志