上篇文章中的对话机器人，其一问一答还是挺流畅的，那么我们不禁思考，为什么“机器人”能根据我们的问句，回答出符合逻辑、语义的答案呢？其实这一切的一切都是源于自然语言训练的基础——语料。 本文将和大家分享一些从互联网上爬取语料的经验。 requests是一个Python第三方库，处…

本章将要介绍一下如何使用代理ip解决反爬虫的禁ip的问题，并扩展了解一下代理ip池的构建与adsl服务器的使用。 下面，我们先来看一下如何获取自己的ip地址。我们直接在百度上搜索ip，或者通过http://www.ip138.com/这个网站就可以。比如说我现在的ip如下： i…

从本章开始，我们将要进入反反爬虫篇的内容。 感觉如果是第一听到这个名字的读者肯定是懵逼的状态。现在我们先来介绍一下什么是爬虫、反爬虫、反反爬虫。 爬虫其实就是我们前面所学的代码，直接使用requests.get("http://xxx.com")就能拿到网站的源码。 但是很多时…