Mongoing中文社区年终大会将于2018年1月7日在北京举办,为了帮助大家进一步了解这场盛会的内容,我们采访了部分嘉宾,希望大家充分利用本次机会和专家们互动。
受访
嘉宾
黄翀 东方航空数据架构师
REC
议题:东方航空运价缓存架构的实现
简介:时至今日,东方航空的运行,旅客,运价数据都保存于MongoDB之中,如何更充分更高效的利用这部分数据,助力机票销售,客户服务成为重点课题。
我将以运价缓存的架构为例子,介绍如何利用MongoDB Connector for Spark,以Spark为运算平台的基础架构搭建。
专访
耀星:黄翀你好,请先向大家介绍下自己吧。
黄翀:大家好,我是东方航空数据架构师,从事金融,民航it业10年。
耀星:你是怎么开始接触到MongoDB的呢?
黄翀:2009年在复旦大学读硕士时,接触到NoSql,个人认为NoSql将对大数据时代产生巨大的影响。在实践中,对MongoDB产生重大兴趣,灵活的模式设计,强大的功能,高可用的架构是一款革命性的创新产品。
耀星:请问演讲中这个项目大的挑战是什么?
黄翀:数据倾斜的问题,简言之,就是任务分配不均匀,造成某些结点完成过多任务,耽误总完成时间。
耀星:这个项目当初的所有可选方案中,是什么促使你选择了MongoDB + Spark?
黄翀:spark作为主流的数据处理工具自不必说,MongoDB提供的高速读写速度可以使得执行效率大为提升。
耀星:使用MongoDB+Spark方案中是否遇到过挑战,你们是如何解决的呢?
黄翀:正如一位大拿所说,新时代数据库的瓶颈将是网络瓶颈。在此项目的实践中,MongoDB的架构需要多结点之间同步数据,网络的传输速度一度成为瓶颈,我们只能通过优化schema设计的方法解决。
耀星:你觉得这个项目中你满意和不满意的地方分别是什么?
黄翀:满意之处在于,充分利用机器的资源,调度任务也变的简单,可维护性也提高很多。不满意之处在于,当集群机器少时不能体现对多线程的优势,只有在一个庞大集群一起工作时,优势特别明显。
耀星:回顾学习MongoDB的历程,有什么是你想对初学者讲的?
黄翀:近几年MongoDB的版本更新很快,一定要多关注社区,关注官方文档,不能错过一些重要的更新。