以前刚学编程的时候就对Python略有耳闻，不过学校只有C，C++，Java，C#。 "人生苦短，我用Python"。而接触Python这个词最多的场合就是在一些技术群里， 后面被老大教育了一番才知道有元组这种东西。因为本身做Android的， Python用到的场合不多，加之…

这个我添加了请求头进行请求，使我发送的请求更加接近浏览器的行为。可以对应一些反爬网站了 如果网站需要进行登陆，这时需要用到post方法，用上面的也是可以的。代码如下： 在登陆了网站之后，我们需要用到cookie来保存登陆信息，这时就需要获取cookie了。urllib获取coo…

在本节中，我们会详细了解HTTP的基本原理，了解在浏览器中敲入URL到获取网页内容之间发生了什么。了解了这些内容，有助于我们进一步了解爬虫的基本原理。 1. URI和URL 这里我们先了解一下URI和URL，URI的全称为Uniform Resource Identifier，…

经过了前面几篇文章的学习，估计你已经会爬不少中小型网站了。但是有人说，前面的正则很难唉，学不好。正则的确很难，有人说过：如果一个问题用正则解决，那么就变成了两个问题。所以说学不会是很正常的，不怕，除了正则，我们还可以用另外一个强大的库来解析html。所以，今天的主题就是来学习这…

MongoDB是由C++语言编写的非关系型数据库，是一个基于分布式文件存储的开源数据库系统，其内容存储形式类似JSON对象，它的字段值可以包含其他文档、数组及文档数组，非常灵活。在这一节中，我们就来看看Python 3下MongoDB的存储操作。 1. 准备工作 在开始之前，请…

至于他是如何实现的，欢迎去看源代码。。。 现在常见的编码不是utf8么，requests怎么这么傻*呢... 然后发现是rfc2016的规定。。。 感兴趣的同学可以自行查阅... 当返回头里面有content_type 的时候，如果有charset=xxx，则encoding的…

如果你仔细观察，就不难发现，懂爬虫、学习爬虫的人越来越多，一方面，互联网可以获取的数据越来越多，另一方面，像 Python这样的编程语言提供越来越多的优秀工具，让爬虫变得简单、容易上手。 利用爬虫我们可以获取大量的价值数据，从而获得感性认识中不能得到的信息，比如： 知乎：爬取优…

yield生成器在python中使用广泛，更是python中协程的实现原理，有必要深入掌握。 生成器是可迭代对象，可以用循环调用。循环调用就是最大限度地调用next，并返回每次next运行结果 yield空相当于一个中断器，循环运行到这里会中断，用于辅助其他程序的执行。也可以理…