阅读 73

使用代理池减少爬虫开发的负担 Souei 一个Python异步代理池

Souei

Souei是一个Python异步代理池。github.com/zhshch2002/…

Souei提供简单的API和基于squid的动态转发功能。理论上只需要设置为使用Souei提供的http代理地址,即可使用代理池。

Souei是依赖Docker设计,希望将复杂功能集为一个简单的整体。

Features

  • 基于Python异步、pyppeteer自动获取开放代理。
  • 基于squid的动态转发功能。
  • 提供简明的API。
  • 使用sqlite存储数据。
  • 定时验证代理是否可用。
  • 提供Prometheus Metrics。

输出日志

数据监控

Get start

创建Docker容器:

docker run -d -p 8000:8000 -p 3128:3218 --name souei zhshch/souei
复制代码

使用Docker Compose:

version: '3'

services:
 souei: image: zhshch/souei
 restart: always
 ports:
   - 8000:8000 # API
   - 3128:3128 # Dynamic http proxy
   - 8001:8001 # Prometheus 
 volumes:
   - ./souei:/app/data
复制代码

查看API:

curl 'http://localhost:8000'
复制代码

使用动态转发:

curl -x http://localhost:3128 "https://api.ipify.org/?format=json"
复制代码
文章分类
后端
文章标签