陌陌大数据存储升级加速业务赋能
演讲简介:
近几年陌陌大数据机器集群增长到超过千台的规模,随之而来对大数据体系的性能、可用性等要求也不断提高,存储系统作为底层组件更是影响整个数据服务的关键环节,本次演讲将围绕陌陌大数据存储的性能加速和可用性升级进行展开介绍。
1. Alluxio 分布式存储系统通过自研升级,深度应用在分布式计算、存储冷热管理等方面,由此获得性能加速推动业务进展;
2. HDFS 文件存储系统如何通过「启动模拟、镜像」等自研特性提升生产可用性;
3. 面向公司内部场景扩展需求,陌陌当前的大数据存储升级工作和规划。
金晓烨 陌陌 数据基础架构团队总监
嘉宾介绍:
2013年初加入陌陌,专注于数据密集型应用的系统架构研究,致力于实现公司数据平台能力开放、数据使用赋能、高 SLA 数据生产保障的团队目标,推进陌陌数据平台、数据仓库以及数据服务系统等方向持续演进。
Key-Value SSD 的原理和应用
演讲简介:
SSD 在过去一直被当作一个标准的块设备使用,这实际上为了兼容机械硬盘的使用方式,让运行在机械硬盘之上的软件可以不做任何修改就可以跑在 SSD 上。但这种使用方式抹杀了 SSD 的一些独特个性。上海宝存研发的 Key-Value SSD 可以直接提供 Key/Value 存储接口,颠覆了过去大家对 SSD 的认知。
苗宁忠 宝存科技 Chief Engineer
嘉宾介绍:
Chief Engineer,带领团队研发了 Host-based SSD,Open Channel SSD,Key-Value SSD 等一系列宝存核心产品。
MyRocks 在网易核心业务上的使用和优化实践
演讲简介:
MyRocks 是 Facebook 引入 RocksDB 后的 MySQL 分支版本,在 Facebook 内部得到了大规模使用,得益于 RocksDB 的写入性能和数据压缩等特点,MyRocks 也受到了 MySQL 社区的极大关注,目前 Percona、MariaDB 等社区版本均已支持 MyRocks,网易杭研也在 InnoSQL 5.7.20 版本增加了 MyRocks 存储引擎。本次分享将为大家分析 MyRocks 的优点,介绍其在网易互联网核心产品的不同业务场景上的使用、参数调优、问题定位和功能优化。
温正湖 网易 杭研数据库内核开发负责人
嘉宾介绍:
8年多数据库和存储系统开发经验,《MySQL 内核:InnoDB 存储引擎 卷1》作者之一,曾主导了网易公有云 RDS、MongoDB 等数据库云服务建设,现负责网易 MySQL 分支 InnoSQL 开发和维护;专注于数据库内核技术和分布式系统架构,乐于挑战和解决疑难问题。
百度数据库压缩技术在百度网盘的应用
演讲简介:
百度高性能安全数据库是百度数据库团队开发的关系型数据库,从性能、成本、安全等多个方面提升数据库的能力,缩小和商业数据库的差距。百度网盘是国内大的个人网络存储服务。每天为数以亿计的用户,提供海量的个人数据存储服务,其中数据库承载着重要的元数据的存储。巨大的客户量带来了巨大的机器成本。百度数据库内核团队协助百度业务不断优化数据库层的存储成本和架构。通过优化 MySQL 的压缩算法和架构,大幅度的提升了innodb原生压缩的读写性能,使得压缩技术的上线成为可能。接下来我们大规模上线了业界公认的压缩效果好的 tokudb,成为 MySQL+tokudb 目前为止国内大规模的应用集群。下一步我们的目标是 rocksdb 和硬件技术,通过硬件+软件一起提升 MySQL 存储的性能和压缩率。
陈辉 百度 数据库架构师
嘉宾介绍:
目前主要负责百度高性能安全数据库的开发和维护,在压缩,新硬件、性能、安全、分布式数据库等方面有丰富的项目经验。在加入百度之前从事多年DB2内核开发工作。
特别感谢高佳老师对此项目的杰出贡献。
高佳,目前是百度分布式数据库组的主要负责人,具备海量数据存储运维能力,主要负责产品线是百度网盘业务,同时在 MySQL 数据库存储引擎,数据压缩,性能优化,数据库集群架构上拥有丰富的运维能力和技术经验,在加入百度前从事国家安全中心防火墙(GFW)系统的运维工作。