通过本周学习的内容, 使用pandas,matplotlib对服务器日志进行分析,检查有无异常情况发生.
注意事项:
1.文件命名规范.
2.注释清晰.
3.运行结果符合预期效果 .
思路提示:
1.pandas的基本数据处理和读取.
2.matplotlib图像处理和显示.
作业内容:
1.导包,读取数据,设置数据的列名.
2.对数据进行随机采样和信息异常值的检查
注:对每列的进行异常值的检测,如果无用,可以丢弃,以达到优化内存的效果.
3.筛选数据,构建时间索引.
4.对count进行分析并图像化显示.
对数据进行重采样,时间间隔为1小时,进行再次分析.
调取出当天的count>20的全部数据,进行可疑数据的核实和排查.
结论:
凌晨时间无人访问,下午2,3点,个访问高峰,晚上8,9点,第二个高峰,数据无异常,无疑似情况发生.
心得:
通过项目实战的分析,体会到了pandas处理数据的快速和强大,还有matplotlib图像化显示的方便快捷,掌握这两个模块就是 走上数据分析师道路的必备神器,加油,继续学习,向着数据分析师的方向前进!!!
我和我的口袋裙