scrapy
2篇文章 · 0订阅
  • 用 Go 编写一个简单的 WebSocket 推送服务
    最近拿到需求要在网页上展示报警信息。以往报警信息都是通过短信，微信和 App 推送给用户的，现在要让登录用户在网页端也能实时接收到报警推送。 依稀记得以前工作的时候遇到过类似的需求。因为以前的浏览器标准比较陈旧，并且那时用 Java 较多，所以那时候解决这个问题就用了 Come…
    WebSocket Go 后端
  • 高可用分布式代理IP池:架构篇
    历时大致两个月，到现在终于完成了高可用分布式代理IP池，目前开源在了Github上。写这个项目的原因主要有两点，一是自己平时的部分工作需要和爬虫打交道，代理IP在有的时候可以发挥非常重要的作用，调研过一些开源的代理IP采集程序，发现在抓取、解析、校验、资源调度等这些方面总有一些…
    Redis 架构 爬虫