绑定完请刷新页面
取消
刷新

分享好友

×
取消 复制
Flink 核心流程分析-中
2020-07-05 23:41:51

这里主要是基于Flink本地执行环境进行的分析,所以看不到集群环境下,Taskr在各个节点之间的调度。但是,这个分析的好处,就是要知道:

1、JobGraph 到 ExecutionGraph之间的转换

2、ExectuionGraph 的构建过程中,每个ExectuionVertex 和 真正执行任务的task 之间的关系是什么?

3、ExectuionVertex是如何根据并行度创建ExectuionVertex上下游节点的之间的输入/输出结果集的?

4、task 和 slot 之间的关系是如何构建的?

个人感觉,以下分析还差那么一点意思。但是,后面满满补充吧。上一篇文章主要是说的是StreamGraph 和 JobGraph 之间的故事! 在这里,杜卷数据先生:Flink 核心流程解析-上



好吧!就这样吧!下一篇再看看集群环境下task的调度吧!

如果以上过程的梳理,有什么不对的地方。欢迎各位不吝赐教,大家多多交流嘛!

顺便说一句,这里我只关心核心流程和Flink的基本框架,主要是为了学习和参考大师们的设计思路和核心思想。可能并未理解其真正核心,但也已经开始了,是吧!

分享好友

分享这个小栈给你的朋友们,一起进步吧。

Flink专区
创建时间:2020-06-19 13:29:19
Apache Flink是由Apache软件基金会开发的开源流处理框架,其核心是用Java和Scala编写的分布式流数据流引擎。Flink以数据并行和流水线方式执行任意流数据程序,Flink的流水线运行时系统可以执行批处理和流处理程序。此外,Flink的运行时本身也支持迭代算法的执行
展开
订阅须知

• 所有用户可根据关注领域订阅专区或所有专区

• 付费订阅:虚拟交易,一经交易不退款;若特殊情况,可3日内客服咨询

• 专区发布评论属默认订阅所评论专区(除付费小栈外)

技术专家

查看更多
  • ?
    专家
戳我,来吐槽~