绑定完请刷新页面
取消
刷新

分享好友

×
取消 复制
Flink(Flink原理、实战与性能优化)
2020-07-09 12:46:01

简述flink:核心是一个分布式、高性能、高可用、实时性的流式框架,支持实时流处理和批处理;flink统一了批处理和流处理,把批处理当做流处理的一种特殊情况(和spark的区别),流处理数据无解,批处理数据有界。flink根据固定缓存快进行网络数据传输,用户通过设定固定缓存块的超时值指定缓存块的传输时机(为0则是流处理标准模型,获得最低的延迟,无穷大则为批处理模式,获得最大的吞吐量);

flink流处理特性:1、支持高吞吐、高性能、低延时的流处理;2、支持高度灵活的窗口机制(window);3、支持轻量级分布式快照技术(Snapshot)实现容错机制,支持exactly-once语义;4、支持具有反压功能的持续流模型;5、flink在jvm内部实现自己的内存管理;6、支持程序自动优化,避免特定情况下shuffle、排序等昂贵操作,对中间结果进行缓存;、

flink架构:1、基本组成模块:流(stream)和转换(transformation)。流是中间的转化结果,transformation是中间的一个操作,流可以一对一也可以一对多的在两个操作之间传输数据;2、调度管理:分布式执行进程:job manager和task manager;jobmanager是Master进程,管理调整程序的执行,调度任务,失败重试等。task manager:worker节点,每个worker都是一个jvm进程,每个worker开辟多个slot,每个slot可以有多个线程;

window机制和时间机制:通过按照固定时间长度将数据切分成不同的窗口,然后对数据进行聚合运算,得到一定时间范围内的统计结果:1、tumbling Windows(滚动窗口):根据一定时间间隔或者数据数量进行窗口分割,不会出现窗口覆盖;2、sliding Windows(滑动窗口,类似于spark的滑动窗口):以一定间隔滑动,取一定时间的窗口数据(窗口时间大于滑动时间,出现数据覆盖);3、session Windows(会话窗口):用于取出相邻时间不大于gap的活跃数据,比如数据流入,当连续数据暂停时间大于gap后窗口停止;4、全局窗口:将全局数据中拥有相同key的数据放在同一个窗口,借助触发器触发;典型的时间字段是:event time(事件时间)、process time(处理时间)、ingestion(注入时间)用于触发器判断触发机制;

flink容错机制:是一种轻量级分布式快照实现的容错机制,支持exactly-once语义(精确一次),也可以降级为at-last-once语义(至少一次);需要数据源具有重放机制,允许数据流重放(kafka):1、barrier机制:当数据流中出现一个barrier,该barrier之前出现的记录都属于该barrier对应的snapslot(快照/检查点),之后出现的记录都属于下一个快照。来自不同快照的barrier可能会同时出现在数据流中,代表着数据流同一时间会并发进行多次快照,当一个中间操作接收到一个barrier之后会将它发送至属于该barrier的快照的数据流中去,等到汇总操作接收到之后会向检查点协调者(checkpoint coordinator)汇报确认收到该快照,直到所有的汇总操作都收到了该快照才算完成了该快照;2、exactly-once语义:当操作收到多个数据流时,需要对所有数据流进行排列对齐,也就是数据流之间的barrier要对齐;(1)首先接到数据流1的barrier n,便不能继续处理该数据流的数据了,直到operator接到其余所有数据流的barrier;(2)将barrier的数据流放置在接收缓存里面;(3)当最后一个流读取到barrier的时候,operator会发射出所有等待向后发送的数据,最后发射快照n的barrier;(4)最后恢复所有输入流的处理;3、at least once:对齐操作会增加流程序处理的延迟,flink允许checkpoint时关闭对齐的操作,当一个操作接收到barrier时,就会打一个快照,而不会等待其他的barrier,也就是说操作cheekpointn时已经在处理Cheekpoint(n+1)的数据了,产生异常时需要对这部分数据重新处理,因为已经包含在Cheekpointn里面了;

flink反压机制:flink利用自身作为纯数据流的特性优雅的实现反压机制,flink采用了有界的分布式阻塞队列,类似生产者消费者模式,一个较慢的接受者会减慢发送者的发送速率,因为一旦队列满了,发送者就会被阻塞:分布式缓冲队列使用缓冲池localBufferPoll实现,每个生产者和被消费者的流都会分配一个缓冲池,缓冲池管理者一组缓冲,缓冲被消费之后可以循环使用。任务之间的缓冲感知,本地传输:如果taska和taskb都在同一个taskmanager节点上,a是b的上游,一旦b消费缓存的速度小于a生产缓存的速度,那么会造成a中缓冲池的缓存堆积,从而导致task1的降速;网络传输,如果taska和taskb工作在不同的节点,那么缓冲通过传输到网络(tcp)中被回收,实现缓冲池释放,而且网络中可以通过设置水位值防止网络中数据太多;当接收端消费速度小于生产端的生产速度时,会逐渐导致生产端缓冲池空间无法回收从而实现task1的降速。

flink如何使用jvm实现内存管理:大数据框架不得不面对的jvm问题:1、Java对象存储密度低,造成大量的内存资源浪费;2、full GC会导致长时间的延迟,影响性能;3、会时长出现OOM的情况;基于此,大数据框架需要自己管理jvm;主要内容包括积极地内存管理、定制的序列化工具、堆外内存等:1、积极地内存管理:Flink 并不是将大量对象存在堆上,而是将对象都序列化到一个预分配的内存块上,这个内存块叫做 MemorySegment,它代表了一段固定长度的内存(默认大小为 32KB),也是 Flink 中最小的内存分配单元,并且提供了非常高效的读写方法。你可以把 MemorySegment 想象成是为 Flink 定制的 java.nio.ByteBuffer。它的底层可以是一个普通的 Java 字节数组(byte[]),也可以是一个申请在堆外的 ByteBuffer。每条记录都会以序列化的形式存储在一个或多个MemorySegment中。Flink 中的 Worker 名叫 TaskManager,是用来运行用户代码的 JVM 进程。TaskManager 的堆内存主要被分成了三个部分:Network Buffers: 一定数量的32KB大小的 buffer,主要用于数据的网络传输。Memory Manager Pool: 这是一个由 MemoryManager 管理的,由众多MemorySegment组成的超大集合。Remaining (Free) Heap: 这部分的内存是留给用户代码以及 TaskManager 的数据结构使用的。Flink 采用类似 DBMS 的 sort 和 join 算法,直接操作二进制数据,从而使序列化/反序列化带来的开销达到最小。积极内存管理的好处:减少GC压力;避免了OOM;节省内存空间;高效的二进制操作 & 缓存友好的计算;2、Flink 量身定制的序列化框架: Flink 中处理的数据流通常是同一类型,由于数据集对象的类型固定,对于数据集可以只保存一份对象Schema信息,节省大量的存储空间。同时,对于固定大小的类型,也可通过固定的偏移位置存取。当我们需要访问某个对象成员变量的时候,通过定制的序列化工具,并不需要反序列化整个Java对象,而是可以直接通过偏移量,只是反序列化特定的对象成员变量。如果对象的成员变量较多时,能够大大减少Java对象的创建开销,以及内存数据的拷贝大小。3、采用堆外内存:启动超大内存(上百GB)的JVM需要很长时间,GC停留时间也会很长(分钟级)。使用堆外内存的话,可以极大地减小堆内存(只需要分配Remaining Heap那一块),使得 TaskManager 扩展到上百GB内存不是问题。高效的 IO 操作。堆外内存在写磁盘或网络传输时是 zero-copy,而堆内存的话,至少需要 copy 一次。

堆外内存是进程间共享的。也就是说,即使JVM进程崩溃也不会丢失数据。这可以用来做故障恢复(Flink暂时没有利用起这个,不过未来很可能会去做)。

spark streaming和flink之间的区别:1、流处理模型:sparkstreaming是微批处理,flink是完全流处理;2、反压机制:spark streaming是动态调整接受率;flink是基于缓存感知的自动调整;

分享好友

分享这个小栈给你的朋友们,一起进步吧。

Flink专区
创建时间:2020-06-19 13:29:19
Apache Flink是由Apache软件基金会开发的开源流处理框架,其核心是用Java和Scala编写的分布式流数据流引擎。Flink以数据并行和流水线方式执行任意流数据程序,Flink的流水线运行时系统可以执行批处理和流处理程序。此外,Flink的运行时本身也支持迭代算法的执行
展开
订阅须知

• 所有用户可根据关注领域订阅专区或所有专区

• 付费订阅:虚拟交易,一经交易不退款;若特殊情况,可3日内客服咨询

• 专区发布评论属默认订阅所评论专区(除付费小栈外)

技术专家

查看更多
  • ☀️
    专家
戳我,来吐槽~