在部署项目时，不可能直接将所有的信息都输出到控制台中，我们可以将这些信息记录到日志文件中，这样不仅方便我们查看程序运行时的情况，也可以在项目出现故障时根据运行时产生的日志快速定位问题出现的位置。 Python 标准库 logging 用作记录日志，默认分为六种日志级别（括号为级…

未闻 Code 已经发布过很多篇关于异步爬虫与异步编程的文章，最近有读者希望我能深入介绍一下 asyncio 是如何通过单线程单进程实现并发效果的。以及异步代码是不是能在所有方面都代替同步代码。 假设你需要用电饭煲煮饭，用洗衣机洗衣服，给朋友打电话让他过来吃饭。其中，电饭煲需要…

上一篇实现了图片的压缩函数。现在如果需要对图片进行压缩，可以调用实现的函数进行压缩： 但是每次输入 python run_script.py 没有对应的参数传入， 还要去改脚本参数挺麻烦的。为了使用起来更方便，可以添加命令行的方式进行调用： python 的 click 库可以…

字典（dict）对象是 Python 最常用的数据结构，社区曾有人开玩笑地说："Python企图用字典装载整个世界"，字典在Python中的重要性不言而喻，这里整理了几个关于高效使用字典的清单，希望Python开发者可以在日常应用开发中合理利用，让代码更加 Pythonic。 1…

从Python3.2开始，标准库为我们提供了 concurrent.futures 模块，它提供了 ThreadPoolExecutor (线程池)和ProcessPoolExecutor (进程池)两个类。 主线程可以获取某一个线程（或者任务的）的状态，以及返回值。 当一个线…

先前在学习Python的过程中，有接触到多线程编程相关的知识点，先前一直都没有彻底的搞明白。今天转杯花一些时间，把里面的细节尽可能的梳理清楚。 进程（process）和线程（thread）是操作系统的基本概念，但是它们比较抽象，不容易掌握。关于多进程和多线程，教科书上最经典的一…

MongoDB是由C++语言编写的非关系型数据库，是一个基于分布式文件存储的开源数据库系统，其内容存储形式类似JSON对象，它的字段值可以包含其他文档、数组及文档数组，非常灵活。在这一节中，我们就来看看Python 3下MongoDB的存储操作。 1. 准备工作 在开始之前，请…

在开始了解 X-Forward-For 之前，我们先来假设一个场景。你是一名爬虫工程师，现在要爬取目标网站 xxx.com 上面的内容。在编码的时候，你发现单位时间内请求频率过高时会被限制，猜测应该是目标网站针对 IP 地址做了限制。现在你有两种选择： 单机，用 IP 代理解决…

英文|PythonTipsandTrick,YouHaven'tAlreadySeen原作|MartinHeinz(https://martinheinz.dev)译者|豌豆花下猫声明：本文获得原作者