Python集中营

很多网站服务器往往通过判断客户端请求头中的 User-Agent 包含的操作系统信息、浏览器信息等来给不同的客户端浏览器发送不同的页面显示更好的效果。因此，在爬虫过程中就需要将我们自己的请求身份伪装成某种浏览器，而这个伪装信息就包含在 User-Agent 字段的赋值中，所以才…

在一些网站服务中，除了对 user-agent 的身份信息进行检测、也对客户端的 ip 地址做了限制，如果是同一个客户端访问此网站服务器的次数过多就会将其识别为爬虫，因而，限制其客户端 ip 的访问。这样的限制给我们的爬虫带来了麻烦，所以使用代理 ip 在爬虫中是非常有必要的。…

*args 和 **kwargs 主要用于函数定义，你可以将不定数量的参数传递给一个函数。不定的意思是：预先并不知道, 函数使用者会传递多少个参数给你, 所以在这个场景下使用这两个关键字。其实并不是必须写成 *args 和 **kwargs。 *(星号) 才是必须的. 你也可以…

URL 管理器是爬虫过程中重要的一环，使用它来管理在爬虫过程中众多的 URL 地址以免造成重复获取爬虫地址、爬虫 陷入死循环等情况的发生。比如，我们要根据 baidu.com 来进行爬虫，如果在爬虫的子页面中也包含 baidu.com 不做处理的话就会陷入循环，所以说，在爬虫过…

随着整个互联网的不断发展和数据的累积，传统的搜索引擎已经不能满足对数据的需求。而网络爬虫在网络数据领域是一项很重要的技术，通过对网络数据的提取、筛选、分析使数据变得更加有价值。 网络爬虫又称之为网络蜘蛛，爬虫就像一只蜘蛛一样在这个万维网上寻找自己的猎物。这只蜘蛛按照我们实现预定…

如果要学习 python 是选择自学还是去培训机构学习，很多刚刚面向社会的朋友都在纠结！不论做什么事、做出什么选择，首先把自己的眼光从别人身上移开，看看自己的状态、处境、现状是什么样的，仔细分析自然能消除迷茫找到自己的天地。哈哈，这个格局开的有点大，我们还是说说到底是自学还是培…

记得刚毕业那会儿，老是喜欢研究各种其他的新的技术性的东西，可能今天还在 hadoop 的分布式明天又去准备了解 python 的机器学习。慢慢的了解过很多东西，除了 java 之外，对 scala、C#、python、shell 等都有粗浅的了解，但是真正让我写一个东西拿到生产…

在一般的高级编程语言中都提供了相应的垃圾回收机制，目的就是为了在合适的时候释放程序运行占用的内存资源，不用再像 C 语言中那样自己管理内存。合理的利用垃圾回收机制不仅能避免出现内存溢出等不必要的错误发生，也能适当的提升程序运行的性能。 Python 中的内存管理机制主要有三种，…