猪猪109

为啥要写这篇文章，就是为了让你上『最强王者』！ Scrapy的文章，好多好多，但是99%的文章都是，写完爬虫就完事儿了，至于后来怎么用？去哪里用？都没有交带。我这里就交代一种，可以把你的小虫子部署到服务器上！但是怎么部署， ，有几篇文章说，用Scrapyd，但是，他们都只是简单…

前面我们学习了 Python 的图像处理库 PIL，学会了一些相关的图像处理方法，好多人心里会问：有什么用呢？这一节我们就拿实际的例子来回答大家。 现在大多数网站登录不再是简单地输入用户名密码了，一般都伴随着此二者之外的验证手段，目的是阻止一些居心不良的行为。而图片验证码是其中…

日志打印优化多线程开发创建线程线程传参(int)线程传参(C结构体struct写法)线程传参(C++结构体struct写法)NDK开发(JavaVM与JNIEnv)获取JavaVM的几种方式JNI_O

上面的这段话对于没做过前端开发的朋友而言，看着可能会有点难懂，没关系，我们用个例子简单地演示一下。 那么类似这样的反爬技术应该怎么处理呢？咸鱼准备了一个例子简单实战一下，用实例讲讲我遇到这类反爬是如何处理的。 由于这个例子比较简单，所以这里我就省略掉分析请求的步骤了，直接来分析…

项目基于darknet开发了一系列的快速启动脚本，旨在让图像识别新手或者开发人员能够快速的启动一个目标检测（定位）的项目。 darknet: 这部分是darknet项目源码，没有作任何改动。 extent: 扩展部分，包含生成配置、生成样本、训练、识别demo、api程序。 a…

在爬虫开发过程中，经常会遇到验证码的情况，这是反爬过程中相当有门槛的措施，破解成本非常高，需要深度学习、JS 逆向等相关的经验，而且成功率还不一定很高。即使破解成功，如果目标网站换了验证码生成的方法或算法，那么费了九牛二虎之力才成功破解的工作将前功尽弃。因此，破解验证码这种反人…

SimHash算法是Google在2007年发表的论文《Detecting Near-Duplicates for Web Crawling》中提到的一种指纹生成算法，被应用在Google搜索引擎网页去重的工作之中。 简单的说，SimHash算法主要的工作就是将文本进行降维，生…

在前面一篇博客《使用 Python + Selenium 打造浏览器爬虫》中，我介绍了 Selenium 的基本用法和爬虫开发过程中经常使用的一些小技巧，利用这些写出一个浏览器爬虫已经完全没有问题了。看了前一篇博客，可能有人会有疑惑，浏览器爬虫的优势感觉并不比传统爬虫多多少啊，…