Flink 提供了与 Kafka 集成的官方 Connector,使得 Flink 能够消费 Kafka 数据

Apache Flink 是一个开源的分布式流处理框架,自 1.11 版本起,Flink 提供了与 Kafka 集成的官方 Connector,使得 Flink 能够消费 Kafka 数据。在 Flink 1.14.4 版本中,确实支持将 Kafka 偏移量保存在外部系统,如Kafka本身,并且可以...

【天衍系列 05】Flink集成KafkaSink组件:实现流式数据的可靠传输 & 高效协同

【天衍系列 05】Flink集成KafkaSink组件:实现流式数据的可靠传输 & 高效协同

01 KafkaSink 版本&导言 Flink版本: 本文主要是基于Flink1.14.4 版本 导言: Apache Flink 作为流式处理领域的先锋,为实时数据处理提供了强大而灵活的解决方案。其中,KafkaSink 是 Flink 生态系统中的关键组件之一,扮演着将 Flink 处...

实时数据分析:使用Flink实时发现最热Github项目

1 课时 |
404 人已学 |
免费

实时数据接入:5分钟上手 Flink MySQL 连接器

1 课时 |
204 人已学 |
免费

大数据知识图谱系列—基于ELK+Flink日志全观测最佳实践

1 课时 |
174 人已学 |
免费
开发者课程背景图
【极数系列】Flink集成KafkaSink & 实时输出数据(11)

【极数系列】Flink集成KafkaSink & 实时输出数据(11)

01 引言 KafkaSink 可将数据流写入一个或多个 Kafka topic 实战源码地址,一键下载可用:https://gitee.com/shawsongyue/aurora.git 模块:aurora_flink_connector_kafka 主类:KafkaSinkStr...

【极数系列】Flink集成KafkaSource & 实时消费数据(10)

【极数系列】Flink集成KafkaSource & 实时消费数据(10)

01 引言 Flink 提供了 Apache Kafka 连接器使用精确一次(Exactly-once)的语义在 Kafka topic 中读取和写入数据。 实战源码地址,一键下载可用:https://gitee.com/shawsongyue/aurora.git 模块:aurora...

【极数系列】Flink集成DataSource读取Socket请求数据(09)

【极数系列】Flink集成DataSource读取Socket请求数据(09)

01 引言 源码地址,一键下载可用:https://gitee.com/shawsongyue/aurora.git 模块:aurora_flink 主类:FlinkSocketSourceJob(socket请求) ...

【极数系列】Flink集成DataSource读取文件数据(08)

【极数系列】Flink集成DataSource读取文件数据(08)

01 引言 源码地址,一键下载可用:https://gitee.com/shawsongyue/aurora.git 模块:aurora_flink 主类:FlinkFileSourceJob(文件) ...

【极数系列】Flink集成DataSource读取集合数据(07)

【极数系列】Flink集成DataSource读取集合数据(07)

01 引言 源码地址,一键下载可用:https://gitee.com/shawsongyue/aurora.git 模块:aurora_flink 主类:FlinkListSourceJob(集合) ...

Flink CDC里我们公司目前要集成oracle 的数据,它的cdc有没有在企业用过啊?

问题一:Flink CDC里我们公司目前要集成oracle 的数据,oracle的cdc有没有在企业中使用过啊?有没有什么疑难杂症呢?问题二:那有oracel 数据库的公司还不能实时同步了吗?不知道通过方案是怎么解决的啊?

Flink CDC 3.0 正式发布,详细解读新一代实时数据集成框架

Flink CDC 3.0 正式发布,详细解读新一代实时数据集成框架

01Flink CDC 概述Flink CDC 是基于数据库日志 CDC(Change Data Capture)技术的实时数据集成框架,支持了全增量一体化、无锁读取、并行读取、表结构变更自动同步、分布式架构等高级特性。配合 Flink 优秀的管道能力和丰富的上下游生态,Flink CDC 可以高效...

Apache Flink 和 Paimon 在自如数据集成场景中的使用

Apache Flink 和 Paimon 在自如数据集成场景中的使用

业务背景自如目前线上有基于 Hive 的离线数仓和基于 Flink、Kafka 的实时数仓,随着业务发展,我们也在探索引入湖仓一体的架构更好的支持业务,我们对比了 Iceberg、Hudi、Paimon 后,最终选择 Paimon 作为我们湖仓一体的存储引擎,本文分享下自如在引入 Paimon 做数...

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。

产品推荐

社区圈子

阿里云实时计算Flink
阿里云实时计算Flink
一套基于Apache Flink构建的一站式、高性能实时大数据处理平台,广泛适用于流式数据处理、离线数据处理、DataLake计算等场景。
199202+人已加入
加入
相关电子书
更多
基于 Flink SQL + Paimon 构建流式湖仓新方
基于 Flink CDC 打造 企业级实时数据集成方案
李劲松|Flink Table Store 典型应用场景
立即下载 立即下载 立即下载