绑定完请刷新页面
取消
刷新

分享好友

×
取消 复制
面试官:因为Kafka这道题接连被怼,看完这个成功吊打面试官
2020-05-28 16:23:44

前言

Kafka由于高吞吐量、可持久化、分布式、支持流数据处理等特性而被广泛应用。

近些年来,大数据技术蓬勃发展,各种围绕大数据处理的平台技术,包括组件、工具、框架越来越丰富;相关的开源工具和实践资料也越来越多,其中消息队列便是一个重要的组成部分。对于一个大型系统而言,我们通常需要围绕消息来构建整个系统的逻辑,Kafka 便是目前主流的消息系统之一。

Kafka入门与实践

第1章对Kafka的基本概念进行简要介绍,方便读者对Kafka有一一个大致的了解。



第2章详细介绍Kafka安装环境的配置及Kafka源码的编译,这一章为后续各章的Kafka原理讲解及基本操作进行准备。



第3章对Kafka基本组件的实现原理、实现细节进行了分析。如果只想了解Kafka的相关应用,而不关注Kafka的实现原理,在阅读时可以直接跳过这一章。但我觉得,如果想真正掌握Kafka及其实现细节,这一章是值得花时间仔细阅读的。



第4章对Kafka核心流程进行分析,主要从Kafka启动流程到创建一一个主题、生产者发送消息、消费者消费消息的过程进行了简要介绍。这一章是Kafka 运行机制的缩影,如果跳过了第3章关于组件实现原理的讲解,那么建议一定要阅读这一章,因为通过阅读这一章可以更进一步地 了解Kafka运行时的主要角色及其职责,为后面的Kafka实战部分打下坚实基础。



第5章开始就进入了Kafka实战部分。这一章通过Kafka自带脚本演示,详细介绍了Kafka基本应用的操作步骤,基本覆盖了Kafka相关操作,因此请读者在阅读时要跟随本书所讲内容进行实战。



第6章对Kafka的API应用进行了详细介绍。如果读者在实践工作中不会用到调用Kafka的相关API,在阅读时也可以跳过这一章。



第7章对KafkaStreams进行了介绍。KafkaStreams是Kafka新增的支持流数据处理的Java库。如果读者不希望使用此功能,也可以跳过这一章。



第8章介绍Kafka在数据采集方面的应用,主要包括与Log4j、Flume 和HDFS的整合应用。



第9章对Kafka与ELK (Elasticsearch、 Logstash 和Kibana)整合实现日志采集平台相关应用进行介绍。



第10章通过两个简单的实例,介绍了Spark以及Kafka与Spark整合在离线计算、实时计算方面的应用。



限于平台篇幅限制,同时也为了大家更好的阅读,后面就不再对章节进行总结,有感兴趣的可以帮忙转发文章后,关注私信回复【学习】来获取

Kfaka实战

第1章初识Kafka

第2章生产者

第3章消费者

第4章主题与分区

第5章日志存储

第6章深入服务端

第7章深入客户端

第8章可靠性探究

第9章Kafka应用

第10章Kafka监控

第11章应用

第12章Kafka与Spark的集成

附录A Kafka源码环境搭建



Kafka源码解析与实战



限于平台篇幅限制,同时也为了大家更好的阅读,有感兴趣的可以帮忙转发文章后,关注私信回复【学习】来获取



分享好友

分享这个小栈给你的朋友们,一起进步吧。

Kafka
创建时间:2020-05-22 09:55:12
Kafka是由Apache软件基金会开发的一个开源流处理平台,由Scala和Java编写。Kafka是一种高吞吐量的分布式发布订阅消息系统,它可以处理消费者规模的网站中的所有动作流数据。 这种动作(网页浏览,搜索和其他用户的行动)是在现代网络上的许多社会功能的一个关键因素。 这些数据通常是由于吞吐量的要求而通过处理日志和日志聚合来解决。 对于像Hadoop的一样的日志数据和离线分析系统,但又要求实时处理的限制,这是一个可行的解决方案。Kafka的目的是通过Hadoop的并行加载机制来统一线上和离线的消息处理,也是为了通过集群来提供实时的消息。
展开
订阅须知

• 所有用户可根据关注领域订阅专区或所有专区

• 付费订阅:虚拟交易,一经交易不退款;若特殊情况,可3日内客服咨询

• 专区发布评论属默认订阅所评论专区(除付费小栈外)

栈主、嘉宾

查看更多
  • ?
    栈主

小栈成员

查看更多
  • wangdabin1216
  • 小雨滴
  • chenglinjava0501
  • 时间不说话
戳我,来吐槽~