cnnet

前一段时间，LZ又接到一个需求，要爬取某快递公司网站的订单数据，起初觉得不就是爬一下数据嘛，虽然nodejs玩的不是特别溜，但爬一些简单数据还是难不倒我这种战五渣的。 当我打开网站，输入数据，准备来一波页面结构分析的时候，突然间跳出来一个滑块验证码。卧槽...... WTF，你…

作为一名爬虫工程师，在工作中常常会遇到爬取实时数据的需求，比如体育赛事实时数据、股市实时数据或币圈实时变化的数据。如下图： Web 领域中，用于实现数据'实时'更新的手段有轮询和 WebSocket 这两种。轮询指的是客户端按照一定时间间隔（如 1 秒）访问服务端接口，从而达到…

1. 使用标签 基本技巧，在每个搜索的顶部（也许不在顶部）有很多的标签。通常你会看到站点，图片，新闻和其他的标签名。使用这些标签，你可以定义自己的搜索范围。 当你搜索特定内容时，尝试使用引号来降低谷歌搜索的猜测。当你将搜索内容放在引号中时，这会告诉搜索引擎去搜索整个短语。 有时…

tesseract-OCR 图像识别插件 node-tesr 了解一下？如何用正确的姿势打造一个图像识别工具。

本章节中主要使用的是两种方法：fdisk分区和parted分区。下面为详细介绍。 前情提要：目前有一块新的磁盘挂载到了系统中，需要对其进行格式化、分区、挂载到特定目录。 使用$ df -h可以查看当前系统中详细的存储设备挂载情况。 测试用的系统是一个虚拟系统，可以看到主要挂载就…

上面的脚本还要进行扫码登录的操作，对于经常写自动化脚本的我们最好是一劳永逸的。所以这次我的脚本：只需一次登录。😁 一台Windows操作系统。 在Windows上安装微信客户端。 Pc上安装好微信客户端，我们手动登录一下，为了方便快速的让自动化脚本找到你的哪个她(或他)，可以…

python 资源集合，持续更新。。。

按照一定的规律发送 HTTP 请求获得页面 HTML 源码（必要时需要加上一定的 HTTP 头信息，比如 cookie 或 referer 之类），利用正则匹配或第三方模块解析 HTML 代码，提取有效数据，将数据持久化到数据库中