前言正文一、分析站点在抓取每个网站前肯定是需要分析它的结构的，我随便点了一个最新的散标网页，如下图可见没登陆仅能显示一小部分信息再看看其源码，毛都没有，只有登陆后才有内容，？那可不一定哦，切换到Net

相比较 Chrome 自身的 html 搜索，这款插件好用之处是可以显示匹配结果，在插件里写出正确的 XPath 语句后再复制到代码里即可。 一键拦截网页所有的 JS，可以快速区分出哪些是异步加载的数据，绝对是爬虫必备神器。 这款插件的强大之处不想多说，看上面的截图就行了，其中…

同时，也欢迎关注我的微信公众号 AlwaysBeta，更多精彩内容等你来。 工作中经常遇到一类需求，根据 IP 地址段来查找 IP 对应的归属地信息。如果把查询过程放到关系型数据库中，会带来很大的 IO 消耗，速度也不能满足，显然是不合适的。 那有哪些更好的办法呢？为此做了一些…

前言其实，本篇也是水文，写这篇的原因是，有同学问要源码，既然这与的话，就写一个吧；上文链接点这里，上文主要介绍这个网站反爬的策略，但是没想到居然有那么多同学看，受宠若惊；在写源码的时候，遇到一个坑，就

作为一名爬虫工程师，在工作中常常会遇到爬取实时数据的需求，比如体育赛事实时数据、股市实时数据或币圈实时变化的数据。如下图： Web 领域中，用于实现数据'实时'更新的手段有轮询和 WebSocket 这两种。轮询指的是客户端按照一定时间间隔（如 1 秒）访问服务端接口，从而达到…

前言先说明，本文是水文，跟Python也没关系的，写着Python，是因为jb用py写爬虫比较多；本文只是简单介绍个网站如何爬虫的思路，文章很短，1分钟看完，没啥特别的，完~讲故事啦为什么要说这事，是

首先打开控制台正常登录一次，可以很快找到登录的 API 接口，这个就是模拟登录 POST 的链接。 我们的最终目标是构建 POST 请求所需的 Headers 和 Form-Data 这两个对象即可。 继续看Requests Headers信息，和登录页面的 GET 请求对比发…