题图，来自网络 平时大家在Linux上工作写代码，有的时候需要写一些命令行的解析脚本。一般来说我们都是用argparse库，今天我在Github上逛了一圈，发现一个非常方便的牛逼的库叫'fire',仔细一看是来自Google的开源库，听名字赶紧要火，小试牛刀，发现非常不错！ 1…

在多核CPU的时代，使用多线程或多进程能够充分利用CPU多核性能来提高程序的执行效率，但Python的多线程为什么有时候耗时比单一线程更长，为什么多数情况下推荐使用Python多进程替代多线程，针对这些问题本文将重点介绍下Python的多进程和多线程区别和应用场景的选取。

项目中，使用RotatingFileHandler根据日志文件大小来切分日志。设置文件的MaxBytes为1GB， backupCount大小为5。 经查看，发现日志文件的大小均小于10MB，且每个回滚日志文件的写入时间也都比较接近。 日志文件过小，猜测是代码有问题，或者是文件…

python 中多进程以及多线程编程的总结

多进程编程知识是Python程序员进阶高级的必备知识点，我们平时习惯了使用multiprocessing库来操纵多进程，但是并不知道它的具体实现原理。下面我对多进程的常用知识点都简单列了一遍，使用原生的多进程方法调用，帮助读者理解多进程的实现机制。代码跑在linux环境下。没有…

Kenneth Reitz 出品，必属精品。 『上古时代』的 Pythonist 是这样安装依赖包的。 这个问题初看起来不是问题，但是随着你安装程序的增多就知道有多么痛苦了。 后来，我们是这样安装包的。 我们可以直接从 pypi 进行安装了。但尼玛，为什么 easy_insta…

最近工作任务需要把原来使用Kettle的ETL流程迁移到Hadoop平台上，就需要找一个替代Kettle工作流部分的工具。在大数据环境下，常用的无非是Oozie，Airflow或者Azkaban。经过简单的评估之后，我们选择了轻量化的Airflow作为我们的工作流工具。 Air…

会一直维护下去,待补充... 1. list切片的技巧 somelist[start:end:stride] 2. 多使用列表表达式 3. 数据量大的时候尽量使用生成器表达式代替列表表达式 4. 使用enumerate代替range 5. 合理利用try/except/else…

Python 在程序并行化方面多少有些声名狼藉。撇开技术上的问题，例如线程的实现和 GIL1，我觉得错误的教学指导才是主要问题。常见的经典 Python 多线程、多进程教程多显得偏“重”。而且往往隔靴搔痒，没有深入探讨日常工作中最有用的内容。 传统的例子 简单搜索下“Pytho…