绑定完请刷新页面
取消
刷新

分享好友

×
取消 复制
Mongoing中文社区年终盛会嘉宾专访--东航数据架构师黄翀
2020-05-18 15:10:09

Mongoing中文社区年终大会将于2018年1月7日在北京举办,为了帮助大家进一步了解这场盛会的内容,我们采访了部分嘉宾,希望大家充分利用本次机会和专家们互动


受访

嘉宾

黄翀     东方航空数据架构师

REC

议题:东方航空运价缓存架构的实现

简介:时至今日,东方航空的运行,旅客,运价数据都保存于MongoDB之中,如何更充分更高效的利用这部分数据,助力机票销售,客户服务成为重点课题。

我将以运价缓存的架构为例子,介绍如何利用MongoDB Connector for Spark,以Spark为运算平台的基础架构搭建。





专访


耀星:黄翀你好,请先向大家介绍下自己吧。

黄翀:大家好,我是东方航空数据架构师,从事金融,民航it业10年。


耀星:你是怎么开始接触到MongoDB的呢?

黄翀:2009年在复旦大学读硕士时,接触到NoSql,个人认为NoSql将对大数据时代产生巨大的影响。在实践中,对MongoDB产生重大兴趣,灵活的模式设计,强大的功能,高可用的架构是一款革命性的创新产品。


耀星:请问演讲中这个项目大的挑战是什么?

黄翀:数据倾斜的问题,简言之,就是任务分配不均匀,造成某些结点完成过多任务,耽误总完成时间。


耀星:这个项目当初的所有可选方案中,是什么促使你选择了MongoDB + Spark?

黄翀:spark作为主流的数据处理工具自不必说,MongoDB提供的高速读写速度可以使得执行效率大为提升。


耀星:使用MongoDB+Spark方案中是否遇到过挑战,你们是如何解决的呢?

黄翀:正如一位大拿所说,新时代数据库的瓶颈将是网络瓶颈。在此项目的实践中,MongoDB的架构需要多结点之间同步数据,网络的传输速度一度成为瓶颈,我们只能通过优化schema设计的方法解决。


耀星:你觉得这个项目中你满意和不满意的地方分别是什么?

黄翀:满意之处在于,充分利用机器的资源,调度任务也变的简单,可维护性也提高很多。不满意之处在于,当集群机器少时不能体现对多线程的优势,只有在一个庞大集群一起工作时,优势特别明显。


耀星:回顾学习MongoDB的历程,有什么是你想对初学者讲的?

黄翀:近几年MongoDB的版本更新很快,一定要多关注社区,关注官方文档,不能错过一些重要的更新。


分享好友

分享这个小栈给你的朋友们,一起进步吧。

MongoDB资料专区
创建时间:2020-05-08 13:54:47
MongoDB是一个介于关系数据库和非关系数据库之间的产品。MongoDB是一个基于分布式文件存储 [1] 的数据库。由C++语言编写。旨在为WEB应用提供可扩展的高性能数据存储解决方案。
展开
订阅须知

• 所有用户可根据关注领域订阅专区或所有专区

• 付费订阅:虚拟交易,一经交易不退款;若特殊情况,可3日内客服咨询

• 专区发布评论属默认订阅所评论专区(除付费小栈外)

技术专家

查看更多
  • 小雨滴
    专家
戳我,来吐槽~