前言
关注OLAP领域1年多了,目前还是处于混战阶段,各类工具、技术层出不穷。之前做过clickhouse、tidb、palo的测试,本文将从多个维度对比各大数据库性能。
指标维度
- 数据导入
- sql查询性能
- QPS
- 资源使用
- 安装部署
- 社区活跃度
- SQL 功能对比
- 更新机制
- 其他
数据库类别
一一说来,TiDB具有很多优势,但是考虑到其对标MySQL(当然,也对标其他的分布式关系数据库),在OLAP领域借助了spark的能力,就没有将其用在线上。
Palo
Palo,本质上是impala+mesa。因为是百度这几年才开源,还不够成熟,在上线之后,又因为几次事故而被下线。运维Palo,还是比较考验运维人员的能力。
Clickhouse
Clickhouse是一个很牛的工具,追求毫秒级响应,这也和Yandex(俄罗斯大的搜索公司,ck的开源者)的应用场景有关。当然,CK的问题就是受限于单机的物理内存,一旦query的mem消耗过大,将被kill。此外,当有需要分布式join的场景时,join的子集数据量超过千万条后,通常会是秒级之上的响应效果。
原文链接:https://blog.csdn.net/guzhenping/article/details/100517808