绑定完请刷新页面
取消
刷新

分享好友

×
取消 复制
某推荐系统首席架构师撰写流式架构Kafka与MapRStreams数据流处理
2020-05-28 15:06:10

所有连续的事件流都可以称为数据流。对连续数据流设计和构建流式数据架构,能够实现实时或近实时应用,提升整个组织的效率。本书以Apache Kafka和MapRStreams为例,重点讲解如何确定使用流数据的时机、如何为多用户系统设计流式架构、为什么要求消息传递层具备某些特定功能,以及为什么需要微服务,并且描述了目前符合流式设计需求的消息传递和流分析工具,适合架构师、大数据科学家及IT工程师阅读。

前言

使用和处理连续数据流的能力,是一项极具竞争力的优势。因此,能够利用流数据,逐渐成为构建数据驱动型组织的一个重要条件。

流数据的广泛使用引发了如何进行更好的系统设计才能有效处理流数据的思考,涉及从多个数据源提取数据,以及各种不同的使用场景,包括流分析和持久化问题。

流架构设计的佳实践层出不穷,甚至会让我们目瞪口呆系统设计的范畴已经远远超出服务于特定的实时或近实时应用。

使用新的方法进行流设计,能够极大地提升整个组织的效率。

目标读者

如果你已经在使用流数据,并且希望设计出一种能够实现佳性能的体系结构,或者正要探索流数据的价值,那么这本书应该对你很有帮助。本书提供了很多真实案例,帮助你理解如何将这些方法应用到不同场景。此外,本书还为开发人员提供了示例程序的链接。

本书适合非技术或技术出身的读者,包括商业分析师、架构师、团队领导、数据科学家及开发人员。

内容梗概

本书内容包括:

●如何确定使用流数据的时机

●在多 用户系统中如何更好地设计流架构

●为什么这种设计要求消息传递层具备某些特定的功能

●为什么流式架构支持微服务

●符合流设计需求的消息传递和流分析工具的描述

第1~3章阐述了流和微服务架构的基本知识。如果你已经对流数据的业务目标很熟悉,可以直接从第2章开始读,第2章描述了推荐的适合流系统的架构。





不仅解释了流架构佳实践所需的能力,还介绍了一些目前能够满足这些要求的技术。第4章详细讲述Apache Kafka,并提供了示例代码链接。



第5章介绍另一种更适合消息传递的技术,即MapR Streams,它使用Apache Kafka API,但提供的功能更多。



后面的章节深入介绍了利用流数据的真实案例,并对这一激动人心的领域做出了前景展望。



本篇比起其他篇章来说相对来说较简短一些,可是呢,又不失经典,算是流式架构里面经典的一篇了,虽然语言简练但是呢道出了真实的东西,值得一学!

需要本篇【流势架构 Kafka与MapR Streams数据流处理】技术文档的小伙伴,就可以转发此文关注小编,私信小编“学习”得到获取方式吧!




对于数据驱动型公司,设计和构建流式数据架构能够实现实时或近实时应用,提升整个组织的效率。

这本简明的指南讲述了流设计中的关键因素(聚焦于消息层的关键特性)、新的消息技术ApacheKafka和MapR Streams.流架构是如何支持微服务的,以及当下可供选择的流技术: Apache Spark Streaming、Apache Flink、Apache Storm和Apache Apex,适合架构师、大数据科学家及IT工程师阅读。

分享好友

分享这个小栈给你的朋友们,一起进步吧。

Kafka
创建时间:2020-05-22 09:55:12
Kafka是由Apache软件基金会开发的一个开源流处理平台,由Scala和Java编写。Kafka是一种高吞吐量的分布式发布订阅消息系统,它可以处理消费者规模的网站中的所有动作流数据。 这种动作(网页浏览,搜索和其他用户的行动)是在现代网络上的许多社会功能的一个关键因素。 这些数据通常是由于吞吐量的要求而通过处理日志和日志聚合来解决。 对于像Hadoop的一样的日志数据和离线分析系统,但又要求实时处理的限制,这是一个可行的解决方案。Kafka的目的是通过Hadoop的并行加载机制来统一线上和离线的消息处理,也是为了通过集群来提供实时的消息。
展开
订阅须知

• 所有用户可根据关注领域订阅专区或所有专区

• 付费订阅:虚拟交易,一经交易不退款;若特殊情况,可3日内客服咨询

• 专区发布评论属默认订阅所评论专区(除付费小栈外)

栈主、嘉宾

查看更多
  • ?
    栈主

小栈成员

查看更多
  • wangdabin1216
  • 小雨滴
  • chenglinjava0501
  • 时间不说话
戳我,来吐槽~