使用 TerarkDB 提升 MySQL 的性能
演讲简介:
RocksDB是facebook从google的leveldb衍生出来的,增加了一些功能,并极大地改善了性能,成为一个全新的数据库引擎,广泛用于各类公司的各种应用。MyRocks是facebook开发的MySQL版本,其核心是基于RocksDB的MySQL存储引擎。RocksDB作为MySQL的存储引擎,相比InnoDB有很多优势。TerocksDB是Terark开发的基于RocksDB的数据库引擎,把Terark独特的索引和压缩技术集成进RocksDB,从而,使用RocksDB的API,就能获得更好的压缩率和更高的性能。 根据不同的应用场景,TerocksDB相比RocksDB的压缩率和性能提升会有很大不同,一般压缩率提升在3倍以上,性能提升在10倍以上。
雷鹏 Terark CTO
嘉宾介绍:
曾就职奇虎360,负责搜索引擎核心研发,曾就职yahoo北研所,负责搜索广告,广告交易(Ad Exchange)等项目。在数据库,高性能计算,分布式,系统架构上都有很深的造诣.
如何基于Alluxio提升Spark和Hadoop HDFS的数据访问性能与系统稳定性
演讲简介:
Alluxio(原名Tachyon)是世界上以内存为中心的虚拟的分布式存储系统。它为上层计算框架和底层存储系统构建了桥梁,应用可以通过Alluxio提供的统一数据访问方式访问底层任意存储系统中的数据。此外,Alluxio以内存为中心的架构使得数据的访问速度能比常规方案快几个数量级。Alluxio开源项目从诞生的4年来发展迅速,已有超过100个组织机构的 400多贡献者参与开源系统的开发。在本技术分享中,我将首先介绍Alluxio开源项目新版本的一些重要特性,包括:Restful API、与Apache Hive的整合等;然后,我将重点介绍如何基于Alluxio存储系统的提升Spark中单应用的DataFrame/RDD数据的访问性能并提供多应用的数据快速共享;后,我们还会分析如何利用Alluxio提升Hadoop HDFS集群的数据访问性能与一致性。
顾荣 南京大学讲师(专职科研)
嘉宾介绍:
博士毕业于南京大学计算机系,现就职于南大计算机系,大数据开源存储项目Alluxio PMC member Mainitainer,Apache Spark contributor。作为知名的Alluxio社区开发者,顾荣完成了Alluxio很多功能稳定和性能增强方面的工作,包括性能测试框架Alluxio-Perf、Alluxio与Hadoop生态系统多个组件的整合、开发社区中文文档等。在与Spark结合方面,顾荣还设计实现了Spark 1.0版本中发布的支持RDD 存储到Alluxio的功能。顾荣目前已经发表或录用论文十余篇(其中10篇作者),并且参与编写《深入理解大数据—卷1: 大数据处理与编程实践》书籍中的部分章节。顾荣热衷于技术分享,是南京大数据技术Meetup的组织人(已举行7次活动),也多次在国内知名的技术大会(例如中国数据库技术大会)上进行技术演讲。此外,顾荣曾在Microsoft Research、Intel、Baidu、星环科技(Transwarp)从事过大数据系统研发实习工作。
互联网金融公司数据存储变迁
演讲简介:
主要跟大家分享在互联网公司高速增长中,数据存储从San到SSD 以及SAS、Pcie 。主要从成本评估、冷热应用数据分层来展开。分享例子:1.通过内存表、SSD提高IOPS用来处理实时计算;2.常规 OLTP系统中通过 Pcie、SAS替代SSD、San. 冷热数据分层 降低成本同时提升吞吐量;3.Pcie 在Greenplum MPP系统中分享。
徐王锦 拍拍贷 数据库负责人
嘉宾介绍:
拍拍贷技术中心数据库负责人 、大数据中心数据工程专家