爬虫
2篇文章 · 0订阅
  • 高可用分布式代理IP池:架构篇
    历时大致两个月，到现在终于完成了高可用分布式代理IP池，目前开源在了Github上。写这个项目的原因主要有两点，一是自己平时的部分工作需要和爬虫打交道，代理IP在有的时候可以发挥非常重要的作用，调研过一些开源的代理IP采集程序，发现在抓取、解析、校验、资源调度等这些方面总有一些…
    Redis 架构 爬虫
  • 妈妈再也不用担心爬虫被封号了！手把手教你搭建Cookies池
    很多时候，在爬取没有登录的情况下，我们也可以访问一部分页面或请求一些接口，因为毕竟网站本身需要做SEO，不会对所有页面都设置登录限制。 但是，不登录直接爬取会有一些弊端，弊端主要有以下两点。 设置了登录限制的页面无法爬取。如某论坛设置了登录才可查看资源，某博客设置了登录才可查看…
    API 后端 数据库