爱emo的叁叁

在前面我们介绍了如何编写爬虫，但是我们的爬虫并没有把数据保存下来，只是简单的显示在控制台中。在本节，我们将简单学习一下数据库，以及如何在python中操作数据库。 最后，我们将修改上一节的爬虫框架，使其支持数据库插入。 注：如果读者已经了解mongodb，可以直接跳到最后一个部…

在看过目录之后，读者可能会问为什么这个教程没有讲一个框架，比如说scrapy或者pyspider。在这里，我认为理解爬虫的原理更加重要，而不是学习一个框架。爬虫说到底就是HTTP请求，与语言无关，与框架也无关。 在本节，我们将用26行代码开发一个简单的并发的（甚至分布式的）爬虫…

在爬虫基础之环境搭建与入门中，介绍了如何用Requests下载(爬取)了一个页面，并用BeautifulSoup这个HTML解析库来解析页面里面我们想要的内容。 显然，爬虫肯定不是只让我们爬取一个网页的，这样的工作，人也可以做。下面我们来看：http://nladuo.cn/s…

在上一节中，我们在不知道原理的条件下调用了requests.get方法下载了HTML页面。在本节中，我们来说说什么是HTTP请求和它的特点。 GET的信息存储在url中，比如说我们在上节看到的“?categoryId=1”。 而POST的信息则把信息存储在form中，比如说我们…

对于网络爬虫来说，其本质就是发送http请求，然后提取网页的内容信息进行入库分析等操作，所以对于任何语言都可以构建爬虫应用。我曾经就用过C#、C++、Java、Swift、Golang、Python这些语言来编写爬虫应用。 总结来说，这里还是最推荐python，其优点就是学习简…

不止不觉中，已经大学毕业上了研究生了，其实这一系列教程很早就想开始写，由于一堆事情加上拖到了现在。（原写于2017年9月18号） 大概是大二下学期刚开学的时候，我开始接触了Web开发，那个时候跟着网上看视频，学习了HTTP Get与Post请求，了解了网站是怎么个工作的。我当时…

SVHN是街景数字的数据集，Google在2013年发表的论文“Multi-digit Number Recognition from Street View Imagery using Deep Convolutional Neural Networks”提供了解决方法，并声…

有的时候玩游戏或者干什么想写写安卓的脚本，不过用 java 或者 kotlin 写图像处理什么的太麻烦了，按键精灵的脚本我也懒得学。adb 倒是可以，但是很多时候要用电脑，又有些不太方便。感觉现在云手机比较方便吧，比如说：红手指、爱云兔这种，我比较喜欢用云手机这种挂一挂机，在手…

使用机器学习破解验证码。