绑定完请刷新页面
取消
刷新

分享好友

×
取消 复制
kdb+、RDBMS、MongoDB、Spark等速度大PK
2022-03-28 16:16:33

kdb+有关开发人员曾对几个常见数据库进行测试,测试结果显示,在同等条件下,kdb+查询速度比传统关系数据库、PostgreSQL、Cloudera、MongoDB等快上百倍,甚至比Spark快上千倍,而所需要的磁盘、内存空间却少很多。有关情况如下:

一、测试方法


  • 测试数据库:三大传统关系数据库之一(以下简称“RDBMS”)、PostgreSQL、Cloudera、MongoDB、Spark等。
  • 测试数据:纽交所20多年tick行情数据(成交及报价),原始文本数据文件100TB,记录数高达1.1万亿条。
  • 测试机器:16个CPU内核、256GB内存的英特尔服务器。
  • 测试操作:“查询1”:从报价行情数据中查询100只指定股票在某一交易日的后一个“买一价”;“查询2”:从成交行情数据中查询100只股票在某一交易日的大成交价;“查询3”:从成交行情数据中查询100只股票在某一交易日每一个小时内的累计成交量。


二、测试结果

测试结果如下表所示,其中,各数据库在“查询1”、“查询2”、“查询3”列的数值是指该数据库执行相应查询所用时间与kdb+所用时间的比值;“磁盘空间”数值是指各数据库保存所有测试数据所用磁盘空间与kdb+所用磁盘空间的比值;“内存”数值是进行上述查询所使用的内存与kdb+使用内存的比值。例如,Spark在“查询1”中的值为1889,表示Spark执行“查询1”所用时间为kdb+所用时间的1889倍,kdb+使用了18毫秒,Spark使用了18*1889≈34000毫秒即34秒。Cloudera在磁盘空间占用较少,是因为它采用了压缩保存,其它数据库未采用压缩存储。

从测试结果可以看出,kdb+查询速度比大多数数据库快上百倍,甚至比Spark快上千倍,而所需要的磁盘、内存空间却更较少。考虑到一些数据库无法进行复杂数据计算,该测试只进行简单查询测试。如果考虑其它方面因素,kdb+用于处理时间序列海量数据等的优势将更加明显和突出(可参考《kdb+中文教程》章第十章等)。欢迎关注本公众号kdbcnbook,一起学习跑得快、吃得少的kdb+:)

来源 https://zhuanlan.zhihu.com/p/342747423

分享好友

分享这个小栈给你的朋友们,一起进步吧。

Kdb+
创建时间:2022-03-28 16:14:06
Kdb+
展开
订阅须知

• 所有用户可根据关注领域订阅专区或所有专区

• 付费订阅:虚拟交易,一经交易不退款;若特殊情况,可3日内客服咨询

• 专区发布评论属默认订阅所评论专区(除付费小栈外)

技术专家

查看更多
  • itt0918
    专家
戳我,来吐槽~