flink cdc sql将一个source,sink到pg和kafka,这种场景支持吗?

flink cdc sql将一个source,sink到pg和kafka,这种场景支持吗?

请问Flink这种场景怎么处理?

我现在接入的是MySQL的业务数据,Hologres里面建表时设置的binlog ttl是3天,现在下游统计作业统计出来的数据有问题,想重新跑整个统计表的数据,但是清空了数据无状态启动之后发现只有最近3天的统计数据,我希望能从整个明细表进行统计,请问Flink这种场景怎么处理?

实时数据分析:使用Flink实时发现最热Github项目

1 课时 |
404 人已学 |
免费

实时数据接入:5分钟上手 Flink MySQL 连接器

1 课时 |
204 人已学 |
免费

大数据知识图谱系列—基于ELK+Flink日志全观测最佳实践

1 课时 |
174 人已学 |
免费
开发者课程背景图

Flink这种场景中的,第四步将 状态存储从内存换成rockdbs之后,还能扛得住吗?

第一层1个 flink sql 任务是将所有跟订单id有关的业务表 进行 10s的窗口去重获取到订单id; 第二层7个 flink sql任务,根据订单id分别查询对应的表,获取到宽表所需要的对应字段,分别发往下游的kafka中,第三层1个 flink sql任务,都是消费上面的kafka, 分别对...

这种场景阿里云flink引擎有计划吗?

flink 去 lookup join 一张实时写入的维表,在join不到情况下,加入缓存,然后delay retry。这种场景阿里云flink引擎有计划吗?

使用flink oracle cdc时,有高并发写入源表的场景,什么方法可以限制数据流的流入速度?

使用flink oracle cdc时,如果有高并发写入源表的场景,有什么方法可以限制数据流的流入速度?

Flink CDC中mysql 大家有遇到过类似场景怎么回事么 ?

Flink CDC中mysql cdc初始化快照中间提示和mysq通信失败 任务reset 导致全量快照重新初始化又从0发送 大家有遇到过类似场景怎么回事么 ?

Flink CDC里假设我想实现的场景未来可以实现吗?

Flink CDC里假设我想实现的场景是:将MySQL的商品信息以及统计商品的销量、热度等,同步到es,适合使用fink cdc吗?是同时监听商品表、订单表等相关表来实现实时同步吗?

flink cdc 3.0支持如下场景吗?

flink cdc 3.0支持如下场景吗?MySQL整库同步Doris一段时间以后,新建了一张MySQL新表,任务会动态感知,并对这个新表进行全量+增量同步 。我将任务从checkpoint恢复,但是不会同步新表的数据,但是新表的名称是满足表的正则表达式的是为什么?pipeline connecto...

Flink数据源问题合集之空闲数据源场景如何解决

问题一:请问下flinksql 使用ddl创建kafka数据源,format.type格式支持哪些啊?允许自定义吗? 请问下flinksql 使用ddl创建kafka数据源,format.type格式支持哪些啊?允许自定义吗? #Flink 参考回答: json csv,自定义就随意了 关于本问题的...

在使用Flink CDC从MySQL进行实时同步至目标库的场景中,如何解决生产环境中的问题?

在使用Flink CDC从MySQL进行实时同步至目标库的场景中,如何解决生产环境中由于MySQL连接数过多而造成的源数据库压力过大的问题?特别是在Flink 3.0版本下,针对运行在YARN上的任务管理(而非Kubernetes),以及对于存量客户可能存在的SQL自定义需求和资源管理的案例呢?

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。

产品推荐

社区圈子

阿里云实时计算Flink
阿里云实时计算Flink
一套基于Apache Flink构建的一站式、高性能实时大数据处理平台,广泛适用于流式数据处理、离线数据处理、DataLake计算等场景。
199201+人已加入
加入
相关电子书
更多
基于 Flink SQL + Paimon 构建流式湖仓新方
基于 Flink CDC 打造 企业级实时数据集成方案
Flink+HBase场景化解决方案
立即下载 立即下载 立即下载