Python 做为一个脚本语言，可以很方便地写各种工具。当你在服务端要运行一个工具或服务时，输入参数似乎是一种硬需（当然你也可以通过配置文件来实现）。 如果要以命令行执行，那你需要解析一个命令行参数解析的模块来帮你做这个苦力活。 Python 本身就提供了三个命令行参数解析模块…

我已经 2 个月没有发文了，看到有人问： '那个专注爬虫小奎因去哪了？'，我就赶紧跳出来了。 我计划在今年的夏天去北京，在去之前我需要做好技术准备，所以最近一直是在学习。我的学习方式很简单明了：看文档、读源码、造轮子。造轮子是我认为能让人进步的最快、最有效的方法。 前段时间需要…

Flask的基本语法撸了一遍，本节直接开冲，用Flask来写下抠腚男孩的后台。 1.早上定时8点执行爬虫脚本爬取新闻（删表建新表）。 2.查询当日爬取到的新闻，把觉得有意思的新闻添加到筛选池中。 3.对筛选池中的新闻进行二次筛选，在这一步可以新增或者修改筛选池新闻。 4.取筛选…

pyenv 是 Python 版本管理工具。pyenv 可以改变全局的 Python 版本，安装多个版本的 Python，设置目录级别的 Python 版本，还能创建和管理 virtual python environments。所有的设置都是用户级别的操作，不需要 sudo …

我平时喜欢看电影，也会习惯性参考豆瓣电影评分，而豆瓣对于爬虫爱好者是很友好的，没有太多反爬措施，对新手是很友好的。 本文将爬取豆瓣电影 TOP 250榜单的数据进行可视化，主要用了 BeautifulSoup, pandas , Matplotlib 等数据分析常用的库。 如图…

前言先说明，本文是水文，跟Python也没关系的，写着Python，是因为jb用py写爬虫比较多；本文只是简单介绍个网站如何爬虫的思路，文章很短，1分钟看完，没啥特别的，完~讲故事啦为什么要说这事，是

前言本来，计划这篇是讲讲怎么获取生成验证码的源码来反向获取验证码的，毕竟tesserocr的识别率有点感人，而且还需要调二值，一旦网站做了检验，比如同一个验证码重试几次不成功则拉黑或者更换新验证码，那

Python调用Go的方法，Python有很多功能强悍又使用简洁的库。而新生军Go的多核心利用率也是非常强悍的。当然这是明面上的优点。反正你有很多理由想要让Python能够调用Go的方法。 Python里面其实有些库是能够做二维码识别的。但是要是是依赖比较严重，要不就是不支持P…

大半夜的翻朋友圈突然看到这个消息，整晚无眠。 大家都知道喜欢写博客的人，也都喜欢看博客。我每隔几天都会浏览一下各个技术社区的文章，这个习惯一致保持了快10年。特别是在我写博客的初期，专门研究了博客园推荐博客的 Top 100 的博主，那时候就注意到了 Vamei，写的文章通俗易…