人生苦短,我用 Python
前文传送门:
小白学 Python 爬虫(2):前置准备(一)基本类库的安装
小白学 Python 爬虫(3):前置准备(二)Linux基础入门
小白学 Python 爬虫(4):前置准备(三)Docker基础入门
本篇文章,我们接着介绍基础内容,数据库。
爬虫将数据爬取完成后,总要有地方存放吧,这个数据存在哪里呢?
当然是数据库中,那个说放在 Excel 里的,你给我站住!
当然 Excel 也是可以使用的,并且第三方也对 Excel 的操作提供了类库支持,但是,SQL 库还是一个老码农的坚持。
数据库现在分为关系型数据库,非关系型数据库和新型数据库。
还是换英文吧,说中文感觉不大对,防止小编说错,下面使用英文再介绍一遍。
- SQL(Structured Query Language):数据库,指关系型数据库。主要代表: SQL Server 、 Oracle 、 MySQL 、 PostgreSQL 。
- NoSQL(Not Only SQL):泛指非关系型数据库。主要代表: MongoDB 、 Redis 、 CouchDB 。
- NewSQL:对各种新的可扩展/高性能数据库的简称。主要代表: Clustrix 、 GenieDB 、 TiDB 。
本系列文章会用到的数据库主要有 Mysql 和 Redis 。
下面,我们开始愉快的装起来。
Mysql 安装
Mysql 在 Win 环境下,可以找到 .exe
的安装包,但是小编不建议大家这么直接安装,这时,前面我们介绍的 Docker 就排上用场了,我们介绍如何在 Docker 中安装 Mysql 。
本文系统环境将使用 Linux ,当然,在 Windows 下通过 Docker 安装过程和命令基本一致。
首先,是将 Mysql 的镜像从镜像仓库中下载到本地:
docker pull mysql:5.7复制代码
静静的等待进度条走完,然后我们使用命令查看下刚才下载的镜像:
docker images复制代码
如果可以看到上图这样的显示就说明下载成功了,剩下的只需要我们来启动这个 Mysql 的镜像了。
docker run --name mysql --restart=always -p 3306:3306 -v /www/mysql/conf.d:/etc/mysql/conf.d -v /www/mysql/mysql.conf.d:/etc/mysql/mysql.conf.d -v /www/mysql/datadir:/var/lib/mysql -e MYSQL_ROOT_PASSWORD=123456 -e TZ=Asia/Shanghai -d mysql:5.7复制代码
我来解释一下这里面的几个参数的含义:
--name
:这里是命名启动后容器名称。--restart
:自动重启,比如服务器突然断电,重启服务器之后不需要重新手动启动。-p
:指定端口号。-v
:挂载。容器中的配置包括数据是不能直接访问的,但是可以将这些内容挂在到我们自己本机的目录中,小编这里的目录使用的是 linux 的文件目录,各位同学如果要在 win 的电脑上操作记得修改。-e
:配置数据库的 root 密码和指定时区是亚洲的上海。-d
:作为守护线程。
然后就结束了,我们的 Mysql 就安装完成了,可以通过命令查看一下容器是否正常启动。
docker ps复制代码
顺利完成!是不是感觉很简单,我们只需要三个命令就搭建了一个单机版的 Mysql 服务。而且在不同的系统中通过 Docker 安装,命令近乎一致。
但是 Mysql 装好了,我们怎么看里面的数据呢?这个可以安装一个客户端软件,叫做 Navicat ,可惜是收费的,而且还蛮贵的,那么怎么用就不用我多说了吧,自己悟。
界面还是蛮清爽的,操作也十分简单,毕竟有中文版,具体怎么操作各位同学自己点点看大致就知道了。
另外,建议各位同学在 Linux 中安装 Mysql 。
Redis 安装
首先来介绍下 Redis 。
Redis 我们一般是将其当成缓存来使用的,因为它的数据是存在内存中,所以它的读写速度要远远超出 MySQL,数据在内存中,意味着一旦断电重启后,将会丢失所有数据。
Redis 同样提供将数据持久化到硬盘,但是开启数据持久化到硬盘后,将会有效降低 Redis 的性能。
同样,我们在 Docker 中安装 Redis 。
下载 Redis :
docker pull redis复制代码
这里先创建一个文件夹用来做 Redis 的挂载目录,小编这里创建的文件夹目录为 /www/redis/
,用来存放redis的配置文件、数据等。
Redis 的启动命令为:
docker run -d -p 6379:6379 --restart=always -v /www/redis/conf/redis.conf:/usr/local/etc/redis/redis.conf -v /www/redis/data:/data --name docker-redis redis --appendonly yes复制代码
Redis 的配置文件这里小编就不贴出来了,属实太长了,上传至代码仓库,有需要的同学自取吧。
顺便这个 Redis 缓存服务给大家做个共享,在公众号回复 redis 获取缓存服务配置。
硬件负载较低,本共享仅做测试使用,希望各位同学不要做压测等高危操作。
Excel 安装
目前 Office 也是更新至了 2019 版,具体怎么装我就不多讲了,只讲一个词: Office Tool ,懂的自然懂,不懂的就去百度下,百度这个必然不会让你失望的。
连接库安装
上面我们讲完了数据库的安装,如果我们想使用 Python 连接到这些数据库上,还需要一些第三方提供的类库。
PyMySQL
在 Python 中,想要连接到 MySQL 进行操作,就需要安装 PyMySQL 。
安装命令如下:
pip install pymysql复制代码
redis-py
在 Python 中,想要连接到 Redis 进行操作,就需要安装 redis-py 。
安装命令如下:
pip install redis复制代码
本篇内容到这里就结束,希望各位同学可以亲自动手实践一下,谢谢~~~。