代码收藏家技术教程 2022-07-29

免费代理池（proxy_pool）搭建教程

简介：

让我们先了解一下proxy_pool这个项目：
	在我们写爬虫的时候，有时候会遇到限制IP访问速度的，这样就严重的影响了我们程序的运行，
	而想解决限制就不得不去使用代理，网上的代理价格不一，让许多老铁望而生畏，这个时候这个免费的代理池就应运而生了。
	让一众多喜欢白嫖的老铁欣喜若狂，可是在网上关于这个项目怎么搭建的文档确比较少，这个时候我就应运而生了。

	我们先了解一下，这个项目需要使用到 redis数据库以及python，思来想去我决定利用我电脑上的VM虚拟机中的deepin   Linux系统来给大家演示搭建过程。
	
	项目地址：https://github.com/jhao104/proxy_pool

安装redis数据库

先使用su root ,切换一下root权限。

	使用命令进行下载redis，

apt-get install redis-server

修改redis配置文件

自动安装的目录在 /etc/redis/redis.conf 接下来我们vi 打开配置文件进行修改一下。

daemonize yes		# 守护进程开启
protected-mode no   # 关闭保护模式
# bind 127.0.0.1 ::1			# 这条代码表示只允许本机访问所以注释掉
port 6379			# redis 开放端口(如果是有防火墙的服务器需要开启该端口)

编辑好后退出，

#cd 到redis目录下
cd /etc/redis/
# 启动redis
redis-server config/redis.conf  
# 连接 Redis 服务
redis-cli
# 使用 ping 测试服务， 出现 PONG 说明成功
ping
# 停止服务
shutdown
# 退出
exit

到这里我们 redis 就安装完成了，下面我们开始 proxy_pool 的配置。

proxy_pool下载及其配置

	首先我们新建终端，依然使用root权限。
	我们可以直接使用get进行下载。
	如果没有就使用apt-get install git 安装git

git clone  https://github.com/jhao104/proxy_pool.git ./proxy_pool

考虑到大家的网速可能不给力下面附上百度网盘链接：

链接：https://pan.baidu.com/s/1KsgOeN3VAe6ndmY_A1ewew 
提取码：q8ph

如果是使用git下载下来的不用解压，百度网盘下载下来的解压一下。

使用root权限的终端打开proxy_pool目录vi 编辑一下setting.py文件。

HOST = "192.168.150.132"  #  想让其他机器能够访问到api，就改成自己的ip地址，
# 要不然改成127.0.0.1也可以

DB_CONN = 'redis://:@127.0.0.1:6379/0'

就编辑这两行，最后保存退出。

pip安装python包

最后使用下面的命令安装python需要的包。

这里有一个小坑，在 proxy_pool 目录中的 requirements.txt 中加上一行，最新版的itsdangerous与proxy_pool不兼容，默认安装后，启动项目的时候会出现错误。

itsdangerous==2.0.0

然后使用以下命令安装python包

python3 -m pip install -i https://pypi.tuna.tsinghua.edu.cn/simple -r requirements.txt

如果提示 **No module named pip** 就使用下面这条命令安装 **pip**，安装成功后再使用上面的命令。

apt-get install python3-pip

这个时候我们所有的环境和配置都配置好了，进入proxy_pool目录使用以下命令启动proxy_pool。

python3 proxyPool.py schedule && python3 proxyPool.py server

出现以下界面就算成功了。

接下来为了方便以后启动项目，我们来编写一个shell脚本。

在proxy_pool目录下面使用root权限创建一个 start_proxy.sh 的文件，保存以下代码。

redis-server /etc/redis/redis.conf  # 启动redis

sleep 5  # 暂停5秒

cd /home/lgb/Desktop/proxy_pool && python3 proxyPool.py schedule &  # 启动爬虫

sleep 5

python3 proxyPool.py server  # 启动api服务

使用以下命令启动项目