Python ip代理池搭建教程：Proxy_pool项目与Redis可视化保姆级指南（专为Windows系统设计）

爬虫时避免自己IP地址被封，学会这个操作，简直不要太爽！ 

废话不少说，直接搞起，嘿嘿嘿！

Proxy_pool

在GitHub上搜索proxy_pool可以找到很多大佬他们发布的优质项目

我们可以随便找一个下载

这里我给大家找了一个22ktar的，点击下面链接

  https://github.com/jhao104/proxy_pool

点击Code

压缩包形式下载

本地打开下载好的文件

解压

解压完成后 ，鼠标右键点击解压后的文件夹，选择在终端打开，然后输入以下命令

pip install -r requirements.txt

lxml错误解决（没有遇到则跳过）

如果没有遇到其他问题，可以跳过下面这部分。

配置失败原因很可能是你之前安装的Python解释器版本比较高

在requirements.text要求中，我发现 lxml 包所要求的4.9.2版本会和高版本解释器冲突

这时候就需要我们在官网Python Releases for Windows | Python.org​​​​​​  再下载一个

这里我选择的是3.11.0版本的

然后找到适合自己电脑的版本，这里我选择的是64-bit

下载好之后打开程序

选择安装路径

等待安装完成即可

接着下载4.9.2版本lxml

https://github.com/lxml/lxml/releases?page=2

然后在刚才解压好的proxy_pool文件夹中鼠标右键点击

在打开方式中选择Pycharm

然后在打开的界面中

找到"设置"–>"项目"–>"Python解释器"

然后点击

选择"添加本地解释器"

然后"选择现有"–>"确定"即可

然后再根据解压后proxy_pool的requirements.txt

用记事本打开这个requirements.txt，将里面对应版本的包依次下载

这样一来问题，应该就能得到解决。

redis

同样在GitHub上下载https://github.com/MicrosoftArchive/redis/releases

下载好之后运行

选择安装路径

默认端口6379

同样，鼠标右键点击下载好的redis文件  ——->    选择终端打开

输入这行命令打开redis

redis-server.exe redis.windows.conf

然后再次鼠标右键点击下载好的redis文件  ——->    选择终端打开

输入这行命令连接redis

redis-cli.exe -h 127.0.0.1 -p 6379

然后继续输入

config get requirepass

config set requirepass 123456  #设置你的密码，这里我设置成123456

与此同时，你需要在解压后的proxy_pool文件中找到setting,py

鼠标右键点击，记事本打开

DB_CONN = 'redis://:123456@127.0.0.1:6379/0'
#将你的密码添加上去

接着鼠标右键点击proxy_pool，选择终端打开，输入命令

pip install -r requirements.txt

# 启动调度程序
python proxyPool.py schedule

然后 再次鼠标右键点击proxy_pool，选择终端打开，输入命令

# 启动webApi服务
python proxyPool.py server

注意:目前打开的所有终端窗口都不要关闭！

然后在浏览器输入http://127.0.0.1:5010/get/

根据显示的信息即可得到有用的IP地址

每次刷新都会有一个地址

弄到这里，已经可以达到获取免费IP代理地址的目的

redis可视化

下面是使用redis可视化工具查看获取的IP地址

下载地址https://github.com/RedisInsight/RedisDesktopManager/releases?page=6

下载好之后，启动

然后等待启动

Name ——–>自定义一个名字

Host   ———>输入本地地址

Auth   ———>输入之前在redis 设置的密码

出现这个页面表示连接成功

然后点击  "OK"

这时候就可以直观看到获取的IP地址啦！

作者：佐排