buiiugjd

听说过异步爬虫的同学，应该或多或少听说过aiohttp这个库。它通过 Python 自带的async/await实现了异步爬虫。 使用 aiohttp，我们可以通过 requests 的api写出并发量匹敌 Scrapy 的爬虫。 我们现在稍稍修改一下，来看看这样写爬虫，运行效…

本文不含kafka的具体使用代码，而是告诉你什么是kafka，以及如何在爬虫中使用它。

使用Python开发一个英文句子分词程序，把一段英文句子切分为每一个单词。不能导入任何官方的或者第三方的库，也不能使用字符串的split()方法。 对于只有单词和空格，不含其他符号的英语句子，可以使用空格来切分单词。于是对于句子I am kingname, 一个字符一个字符的进…

Python 装饰器装饰类中的方法这篇文章，使用了装饰器来捕获代码异常。这种方式可以让代码变得更加简洁和Pythonic。 在写代码的过程中，处理异常并重试是一个非常常见的需求。但是如何把捕获异常并重试写得简洁高效，这就是一个技术活了。 以爬虫开发为例，由于网页返回的源代码有各…

Python作为一门动态语言，其变量的类型可以自由变化。这个特性提高了代码的开发效率，却也增加了阅读代码和维护代码的难度。 假设有一个变量is_request_finished，从名字上来看，这个变量的值应该为True或者False，在写代码的时候，最初也确实是这样定义的。但是…

滥用 Python 的字典功能会导致代码的可读性降低。将一些数据封装到对象中可以提高可读性。

隧道代理可以自动切换 IP，但是价格昂贵。本文通过便宜的普通代理搭建隧道代理，提高开发效率，节省大量费用。

开源市场上的Java的ORM框架一个都不好用，所以花了几天时间自己撸了一个 OrmKids，欢迎大家下载学习。遇到问题请关注公众号进群大家一起讨论。 对于复杂的多表查询和批量数据处理，可以使用该方法。 用户可以获得原生的jdbc链接，通过编写jdbc代码来实现。

在我们日常开发的时候，可能会遇到各种各样的需求，但是自己一时半会儿可能找不到合适的办法去解决。书到用时方恨少，下面的这些JavaScript的工具函数可能就会派上大用场了，我们可以进行复用，提高我们的工作效率。 我把下面的方法都大致分了个类放在了我的GitHub上。大家可以cl…