客服QQ :2578037309

代理ip

>

动态ip

>

ip代理

>

换ip软件

>
ip修改器

 

当前的位置:> 首页 > 动态ip >

可以多线程提取的代理ip池

TAG:   代理ip池      时间:2020-12-31来源:91ip代理浏览量:

  如果想要自己做一个代理ip池,大家应该要怎么操作呢?这份指南或许能够帮助到大家。

可以多线程提取的代理ip池

  一、ProxyGetter:

  代理获取接口,这个可以在代理ip网站后台生成,比如短效优质代理的最低套餐是单提5个IP,每调用一次API就会返回5个最新代理IP,将其放入DB。

  二、DB

  用于存放代理IP,目前支持SSDB和Redis(推荐SSDB)。至于为什么选择SSDB,个人觉得SSDB是个不错的Redis替代方案,安装起来也很简单。

  三、Schedule

  计划任务,定时去检测DB中的代理可用性,删除不可用的代理。同时也会主动通过ProxyGetter去获取最新代理放入DB。

  四、ProxyApi

  代理池的外部接口,由Flask实现,功能是给爬虫提供与代理池交互的接口。

  基本框架就是这样了,接下来就是编写代码了,这里简单的介绍下代码模块,具体的代码就要您自己去编写了。

  A、Api

  api接口相关代码,目前api是由Flask实现,代码也非常简单。客户端请求传给Flask,Flask调用‘ProxyManager’中的实现,包括‘get/delete/refresh/get_all’;

  B、DB

  数据库相关代码,目前数据库是支持SSDB/Redis。代码用工厂模式实现,方便日后扩展其他类型数据库;

  C、Manager

  ‘get/delete/refresh/get_all’等接口的具体实现类,目前代理池只负责管理proxy,日后可能会有更多功能,比如代理和爬虫的绑定,代理和账号的绑定等等;

  D、Schedule

  定时任务相关代码,现在只是实现定时去刷新代理,并验证可用代理,采用多进程方式。

  完成之后,我们就能够多线程提取代理ip使用了,自由切换ip地址。

看过本文的人还看过...