饿了么自研分布式 KV 数据库的架构与实践
演讲简介:
本次分享将分析饿了么的 Key-Value 数据的使用场景,以及如何从采用开源到自研的历程;同时介绍饿了么自研分布式 Key-Value 数据库的架构设计与系统特性,分析对比与其他 Key-Value 数据的差别;后总结分布式 KV 在饿了么的应用实践和经验教训。
陈东明 饿了么 北京技术中心架构组负责人
嘉宾介绍:
饿了么北京技术中心架构组负责人,负责饿了么产品线架构设计以及饿了么基础架构研发工作,主导开发 eleme key-value 数据库;曾任百度架构师,负责百度即时通讯产品的架构设计;具有丰富的大规模系统构建和基础架构的研发经验,善于复杂业务需求下的大并发、分布式系统设计和持续优化。
超万亿规模的大数据搜索与统计---浅谈对lucene源码的改造
演讲简介:
搜索引擎是大数据时代数据的核心。Lucene作为业内开源的高性能、可扩展的信息检索引擎,在搜索领域一直处于地位。但当数据量大到一定规模后,原生lucene也存在部分性能劣势而难以应对。
基于以上背景,本次演讲中主要介绍我们为应对超万亿规模的大数据搜索与统计服务而对lucene源码作出的一部分改造:
1.实现列簇存储,节省硬件存储;
2.建立多列联合倒排索引,实现秒级多列统计分析;
3.改进sandbox包,提升地理位置检索性能;
4.改进lucene分裂性能,实现大索引快速分裂;
5.实现无词库的切词,解决N-Gram膨胀率问题。
基于以上改进,使lucene部分方面性能在超万亿规模下得到了显著提升,以期高效的搜索与统计服务未来能广泛应用于各行各业。
母延年 录信数软 CTO
嘉宾介绍:
拥有十年行业经验,曾任职新浪、酷六、阿里与腾讯。
开源软件Mdrill和Jstorm核心Committer。曾多次受邀作为嘉宾出席各类大会,并发表了精彩演讲,有着丰富的学识和经验。现携同录信团队在深耕超万亿规模下大数据搜索与统计服务的道路上砥砺前行。
达梦数据库国产化推进实践与思考
演讲简介:
达梦数据库是大型通用关系数据库管理系统,本次分享围绕国产达梦数据库在推进落地过程中遇到的问题,介绍达梦数据库的关键技术演进过程,对国产数据库的技术发展和推进经验进行总结,并对国产数据库未来的发展方向进行展望。
郭一兵 达梦 北京公司副总经理(技术负责人)
嘉宾介绍:
毕业于陕西科技大学,目前就职于武汉达梦数据库有限公司,担任北京公司副总经理(技术负责人)。拥有十年以上数据库研发、产品规划、架构设计和咨询解决方案等丰富经验。拥有多个超大型业务系统去IOE化、数十个国家部委级数据库项目建设经验,带领团队将达梦数据库在国家电网、中国神华、中国铁建、中国民航等重大行业的核心生产系统中的取得广泛应用。目前致力于达梦数据库核心技术研究及达梦数据库的推广工作。
爱奇艺高性价比 KeyValue 数据库 HiKV 应用实践
演讲简介:
随着用户数及业务类型的增加,KeyValue 数据库需要存储更大的数据量,保证较高的性能并有效控制成本。通过对现有开源 KeyValue 系统在扩展性、性能和成本上的评估,爱奇艺数据库团队参考 Wisckey 存储模型(全内存索引+日志即数据的存储),结合 ScyllaDB 的架构优势(无锁访问,NUMA友好,IO调度优化等),开发了高性价比 KeyValue 数据库HiKV,实现了与 Couchbase 接近的平均延时,并较好的解决了读写长尾延时问题。本报告将介绍 ScyllaDB 及 HiKV 的架构以及在 CPU、内存、文件系统、网络等方面的优化经验。
郭磊涛 爱奇艺 数据库服务负责人
嘉宾介绍:
2007年博士毕业于中国科技大学,进入中国移动研究院负责大数据平台的建设,2014年加入爱奇艺负责数据库内核、中间件及运维系统的研发,热衷于 Hadoop 生态系统优化和数据库高效运维架构。