Flink CDC binlog 只保留1天, 有时候任务失败了, 重启cdc会读不到当时的?

Flink CDC binlog 只保留1天, 有时候任务失败了, 重启cdc会读不到当时的binlog文件了, 只能丢弃任务里的状态信息, 重新启动任务了, 有没有设置可以在找不到binlog文件的时候, 直接全表读然后走新的binlog文件?

Flink CDC中oracle的日志要保留多久合适呢?dba说每天12点会清理0点前的数据。

Flink CDC中oracle的日志要保留多久合适呢?dba说每天12点会清理0点前的数据。

实时数据分析:使用Flink实时发现最热Github项目

1 课时 |
404 人已学 |
免费

实时数据接入:5分钟上手 Flink MySQL 连接器

1 课时 |
204 人已学 |
免费

大数据知识图谱系列—基于ELK+Flink日志全观测最佳实践

1 课时 |
174 人已学 |
免费
开发者课程背景图

flink cdc中我想只保留一条消息,再分发给业务系统怎么处理?

部署多个实例,就会监听重复啊。一个集群,部署了多个节点,每个节点都通过 Flink 来监听 Mysql (全库)或者某些表的变化,当Mysql 表变化时,每个实例都收到相同的变更消息我想只保留一条消息,再分发给业务系统。部署多实例,就是想当一个实例重启时,另一个实例可以继续监听。

Flink SQL空闲状态保留时间 和statebackend-TTL 的区别是什么?

Flink SQL空闲状态保留时间 和statebackend-TTL 的区别是什么?

Flink CDC中每个mysql的实例含有的表名都是一样的,同步到doris的时候,只保留一份表?

Flink CDC中每个mysql的实例含有的表名都是一样的,同步到doris的时候,只保留一份表名,相当于不同实例的数据库表的数据要插入到doris对应的表中,那么可以通过flink的sql-clint去执行相关sql,达到我想要的效果吗?

Flink CDC用JAVA写的怎么指定启动的时候使用之前保留的checkpoint?不用flink

问题1:Flink CDC用JAVA写的 怎么指定启动的时候使用之前保留的checkpoint?不用flink来启动的话,就是当项目启动的话如何控制,存储目录不指定的话每次启动会生成一个新的checkpoint 问题2:指定目录以后每次启动都会生成一个新的checkpoint ,我想要JaVa项目像...

flink 历史binlog 只保留7天,数据是从binlog 还是mysql dump导出的?

flink 历史binlog 只保留7天,Flink CDC 2.0 如果支持历史全量数据同步,数据是从binlog 还是吗,mysql dump导出的?

对于Flink CDC,如果binlog保留时间只有1天,是不是就拿不到全量数据了?

mysql 全量阶段(snapshot)也是依赖binlog获取数据吗,如果binlog保留时间只有1天,是不是就拿不到全量数据了?

flink主键会一直保留在状态中吗?

flink主键会一直保留在状态中吗?

flink checkpoint 保留机制问题 集群模式是 standlane模式 我设置参数sta

flink checkpoint 保留机制问题 集群模式是 standlane模式 我设置参数state.checkpoints.num-retained 参数为2 清除策略设置 RETAIN_ON_CANCELLATION 出现的问题就是:主节点中chk-xxx 文件有删除 但工作节点中的shar...

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。

产品推荐

社区圈子

阿里云实时计算Flink
阿里云实时计算Flink
一套基于Apache Flink构建的一站式、高性能实时大数据处理平台,广泛适用于流式数据处理、离线数据处理、DataLake计算等场景。
199201+人已加入
加入
相关电子书
更多
基于 Flink SQL + Paimon 构建流式湖仓新方
基于 Flink CDC 打造 企业级实时数据集成方案
李劲松|Flink Table Store 典型应用场景
立即下载 立即下载 立即下载