绑定完请刷新页面
取消
刷新

分享好友

×
取消 复制
kafka --from-beginning 获取的数据与之前消费的数据不一致
2019-10-09 16:05:26

flume 使用 tail 采集一个文件的数据到kafka topic

当开启了kafka consumer的时候 。文件追加五条。 consumer消费五条。一切正常

然后当使用--from-beginning  查看这个topic 的所有数据的时候。 发现真实消费的数据少了一些。刚才消费的五条数据,并不能全部查到。 

其它信息:

(1)配置: flume配置的是memory channel

 (2)查看kafka log目录下的分区下的 xxxx.log文件

 发现当被采集文件追加 5条左右(为了让数据写入同一个partion,这里追加的五条数据一模一样), xxx.log才刷新一条 。--from-beginning 开启的控制台消费者才能看到这一条。

 但是如果同时开启了另一个consumer 。追加的所有条目。都是可以消费到的。 

也就是consumer可以消费到,但是 --from-beginning  却没有获取到

请问有知道这是为什么的吗?

分享好友

分享这个小栈给你的朋友们,一起进步吧。

数据分析与数据挖掘
创建时间:2020-06-17 15:23:29
数据分析是指用适当的统计分析方法对收集来的大量数据进行分析,将它们加以汇总和理解并消化,以求大化地开发数据的功能,发挥数据的作用。 数据挖掘是指从大量的数据中通过算法搜索隐藏于其中信息的过程。
展开
订阅须知

• 所有用户可根据关注领域订阅专区或所有专区

• 付费订阅:虚拟交易,一经交易不退款;若特殊情况,可3日内客服咨询

• 专区发布评论属默认订阅所评论专区(除付费小栈外)

技术专家

查看更多
  • 栈栈
    专家
戳我,来吐槽~