MiniBear0523

异步爬虫代理池，以 Python asyncio 为基础，旨在充分利用 Python 的异步性能。 项目使用了 sanic，一个异步网络框架。所以建议运行 Python 环境为 Python3.5+，并且 sanic 不支持 Windows 系统，Windows 用户（比如我 …

我们在前面已经实现了Scrapy微博爬虫，虽然爬虫是异步加多线程的，但是我们只能在一台主机上运行，所以爬取效率还是有限的，分布式爬虫则是将多台主机组合起来，共同完成一个爬取任务，这将大大提高爬取的效率。 在了解分布式爬虫架构之前，首先回顾一下Scrapy的架构，如下图所示。 S…

再次感谢作者。 举行，youtube上早早放出了talk列表。虽然PyCon聚焦Python语言本身，但是关于数据科学和AI的talk也不在少数。 现在是时候结合这个talk给大家讲清楚了。 如果你的项目和RNN强相关，并且希望写RNN模型的时候更轻松敏捷，或者，你是从事科学研…

“什么是每一个计算机专业的学生应该知道的知识？”，教职员工们正在参与这场讨论，我汇总了我的想法作为这个问题的答案。 我试着把这个问题作为下面四个问题的结合来回答： 每个学生应该知道什么才能获得一份好的工作？ 每个学生应该知道什么才能维持终身就业？ 每个学生应该知道什么才能进入研…

Hive是基于HadoopHDFS分布式文件系统的分布式数据仓库架构。它为数据仓库的管理提供了许多功能：数据ETL（抽取、转换和加载）工具，数据存储管理和大型数据集的查询和分析能力。同时Hive还定义

分享一个笔者最近写的 Python 相关的小 demo，爬取某个公众号的所有历史文章，并导出到本地，方便之后在线下环境直接观看。参考了刘志军的小册基于Python实现微信公众号爬虫，有兴趣的同学也可以自行购买。 这个功能还是有一定实际用途的，需求和功能虽然简单明确，但我在开发的…

最近准备使用 vim 作为开发工具，于是在学习怎样提高 vi 生产力。在学习插件的过程中先发现一个 Chrome 插件 vimium，在安装后可以使用户在 Chrome 浏览器中使用 vi 编辑器中的快捷键。试用之后，惊为天人，因此安利给大家。 该插件对 vim 中常用的快捷键…

Cerebro 变量名搜索插件，项目灵感来源 codelf。通过 Cerebro 的搜索窗口快速查找变量名。

我会把一些原来博客中比较好的文章转移到这里来。 EXCEL用于日常数据分析的工具中，最便利并且最强大的莫属透视表了。因为透视表对原始数据有一定的要求，所以本次的破冰之旅也将把焦点放在如何整理基础数据这个方面。 如果有人告诉你，下面这两个看起来很高大上的报表，其实只需要在EXCE…