丰富sql 可用于复杂查询分析

https://blog.csdn.net/wzy0623/article/details/79898507



distinct /group by 会产生大量的临时文件，导致磁盘负载上升，终可导致集群崩溃等

任何数据库都会产生临时文件，当内存文件不足的时间，临时文件就会存放在磁盘，磁盘不足会导致进程终止

select * from pg_stat_activity 可查看连接进程

a 是键
ac12 有30亿的数据，因为etl进程中断，倒置重复插入数据插入两次，ac12的数据是源表数据的两倍，70亿
需要工作，将ac12数据去重
难点：数据量大，磁盘有限，计算量大，容易数临时文件过多占满磁盘，数据倾斜

解决方法，生成列键
给ac12生成列键 numrow
select * from
insert into ac12_new select a,b,c from ac12_tmp where numrow in (select max(numrow) from ac12_tmp group by a )



oushudb 压力测试
————————————————
版权声明：本文为CSDN博主「简从。」的原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接及本声明。
原文链接：https://blog.csdn.net/m0_38079848/article/details/84985664