绑定完请刷新页面
取消
刷新

分享好友

×
取消 复制
Hadoop 进入寒冬期,崛起的会是 Spark 吗?
2019-01-21 14:04:36

笔者曾经看过一个非常有趣的比喻,Hadoop是家大型包工队,可以组织一大堆人合作(HDFS)搬砖盖房(用MapReduce),但是速度比较慢。


Hadoop开始升级,指定调度专家YARN调度工人。Spark从多个仓库搬砖(HDFS,Cassandra,S3,HBase),还允许不同专家如YARN、MESOS对人员和任务进行调度。


所以,后,哪一家会胜出呢?

Hadoop是什么?

它可以通过Apache发行版开源,也可以通过Cloudera(规模和范围大的Hadoop供应商),MapR或HortonWorks等厂商提供。 Spark是一个较新的项目,初于2012年诞生在加州大学伯克利分校的AMPLab。它也是一个Apache项目,专注于在集群中并行处理数据,大的区别在于它在内存中运行。



分享好友

分享这个小栈给你的朋友们,一起进步吧。

Hadoop
创建时间:2020-06-17 14:28:01
Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下,开发分布式程序。充分利用集群的威力进行高速运算和存储。
展开
订阅须知

• 所有用户可根据关注领域订阅专区或所有专区

• 付费订阅:虚拟交易,一经交易不退款;若特殊情况,可3日内客服咨询

• 专区发布评论属默认订阅所评论专区(除付费小栈外)

技术专家

查看更多
  • 栈栈
    专家
戳我,来吐槽~