1. 查看请求 这里还需要借助浏览器的开发者工具，下面以Chrome浏览器为例来介绍。 此时在Elements选项卡中便会观察到网页的源代码，右侧便是节点的样式。 不过这不是我们想要寻找的内容。切换到Network选项卡，随后重新刷新页面，可以发现这里出现了非常多的条目，如图6…

Python 爬虫之 Xpath 学习

一些基础的 Selenium 的使用知识。

1. 代码克隆 其实这个功能不是很必要，用命令行克隆也很简单。需要的话ctrl + shift + p 打开命令面板，输入>Git:clone回车并且输入仓库地址即可。 2. 查看代码提交修改历史 推荐安装工具 Git history。这样可以看整个仓库文件提交历史，及修改地方…

当使用 pandas 操作小规模数据（低于 100 MB）时，性能一般不是问题。而当面对更大规模的数据（100 MB 到数 GB）时，性能问题会让运行时间变得更漫长，而且会因为内存不足导致运行完全失败。 尽管 Spark 这样的工具可以处理大型数据集（100 GB 到数 TB）…

新接触爬虫，经过一段时间的实践，写了几个简单爬虫，爬取豆瓣电影的爬虫例子网上有很多，但都很简单，大部分只介绍了请求页面和解析部分，对于新手而言，我希望能够有一个比较全面的实例。所以找了很多实例和文章，并整合在一起，在现有豆瓣爬虫的基础上，增加了一些内容，算是比较全的内容了。

本文主要是从爬虫架构、源码分析、以及可视化结果展示介绍如何实现快速爬取百万知乎用户信息，实现简单可视化分析

之前写过一篇《听说你会 Python ？》的文章，大家反响都还不错，那么我想干脆把这个文章做成一个系列，继续讲解一下 Python 当中那些不为人知的细节吧。然后之前在和师父川爷讨论面试的时候，川爷说了一句 “要是我，我就考考你们怎么去实现一个 namedtuple ，好用，方便，又能区分人”，说者无心，听者有意，我于是决定在这次的文章中，和大家聊一聊 Python 中一个特殊的高阶数据结构， namedtuple 的实现。