机器:两台36核64g,一台6核16g,网速千兆,be搭建三台集群,fe单机部署,broker对应be三台部署,机器上除了DorisDB有其他应用,无固态硬盘。
数据量:1亿7000w
1.查询一天内的访问量 0.01s
select count(id) from api_logs3 where req_time>'2020-01-09 00:00:00' and req_time <'2020-01-10 00:00:00';
2.查看一个月内的访问量
select count(id) from api_logs3 where req_time>'2020-01-09 00:00:00' and req_time <'2020-02-09 00:00:00';
3.查询一个时间段内的访问日志记录数 0.10s
select count(id) from api_logs3 where req_time>'2020-03-09 00:00:00' ;
4.查询某天内的请求是200的记录数 0.02s
select count(id) from api_logs3 where req_time>'2020-01-09 00:00:00' and req_time <'2020-01-10 00:00:00' and http_code=200;
5.统计一个月内访问用户量和每个用户的访问次数 0.02s
select user_id,count(user_id) from api_logs3 where req_time>'2020-01-09 00:00:00' and req_time <'2020-02-09 00:00:00' and http_code=200 group by user_id;
6.一个月内访问的所有请求日志记录详情 0.16s
select * from api_logs3 where req_time>'2020-01-09 00:00:00' and req_time <'2020-02-09 00:00:00' and http_code=200;
7.一个月内某个用户的所有访问记录详情 0.04s
select * from api_logs3 where req_time>'2020-01-09 00:00:00' and req_time <'2020-02-09 00:00:00' and http_code=200 and user_id = 'networkvip162';
8.每个产品的访问量 0.57s
select count(*),product_id from api_logs3 group by product_id;
9.每种产品某个月的访问量 0.01s
select count(*),product_id from api_logs3 where req_time >'2020-01-09 00:00:00' and req_time <'2020-02-09 00:00:00' group by product_id;
10.每种产品每天统计访问数量 0.02s
DorisDB 统计查询比较快,有更新删除操作的不适合用明细模型,明细模型适合日志数据或者时序数据,以追加为主要特点,数据产生后基本不会发生太多变化。
DorisDB的可视化工具需要企业版才有。
1.导出 hdfs broker导入 hdfs 两个都需要搭建hdfs 是否可以在机器来了之后搭建
2.监控不完整 可视化工具DorisManager需要企业版才提供,用prometheus监控了部分数据。
3. 数据模型和物化视图还需要再研究下
机器:两台36核64g,一台6核16g,网速千兆,be搭建三台集群,fe单机部署,broker对应be三台部署,机器上除了DorisDB有其他应用,无固态硬盘。
1.聚合 分析 查询较快 适合日志,海量数据分析等
————————————————
版权声明:本文为CSDN博主「qq_33790251」的原创文章,遵循CC 4.0 BY-SA版权协议,转载请附上原文出处链接及本声明。
原文链接:https://blog.csdn.net/qq_33790251/article/details/118753456