Crawlab 版本相对于之前版本有什么区别？优化内容是什么？作为用户我是否应该迁移到新版本上？本篇文章将从新版本的新特性出发，介绍新老版本的主要区别，以及如何安装使用新版本，让大家更容易上手。

不知不觉在掘金买了好几本小册了，基本没怎么看，在电脑或者手机上看，看一会就觉得累，还要打开掘金的网站，找到自己的小册，零碎的时间根本用不上。平时自己用kindle比较多，就像把掘金小册装进kindle多好，就算批量下载到电脑上，也比打开掘金网站找小册强，于是就产生了这个项目。 …

当我学了廖大的Python教程后，感觉总得做点什么，正好自己想随时查阅，于是就开始有了制作PDF这个想法。 将一段文档传入 BeautifulSoup 的构造方法,就能得到一个文档的对象, 可以传入一段字符串或一个文件句柄. 首先,文档被转换成Unicode,并且HTML的实…

最近忙于业务开发、交接和游戏，加上碰上了不定时出现的犹豫期和困惑期，荒废学业了一段时间。天冷了，要重新拾起开始下阶段的学习了。之前接触到的一些数据搜索项目，涉及到请求模拟，基于反爬需要使用随机的User Agent，于是使用Redis实现了一个十分简易的UA池。 每次获取的Us…

这是一套基于实战的系列教程，从最简单的爬虫程序开始，授人予渔，详细剖析程序设计的思路，完整展现爬虫是如何一步步调试到最终完成。分享关于爬虫的各种知识、技巧，旨在帮助大家认识爬虫、设计爬虫、使用爬虫最后享受爬虫带给我们在工作和生活上的各种便利。 说起爬虫每个人都或多或少的听过与之…

Kubernetes（K8S） 是非常强大的容器编排工具，可以管理大型集群、微服务、分布式应用等等，是生产环境多节点部署中非常合适的选择。 而 Crawlab 作为分布式爬虫管理平台，同样也支持 Kubernetes 部署。Kubernetes 部署适合比较大型的分布式应用，但…

更好的支持 Scrapy. 爬虫识别，settings.py 配置，日志级别选择，爬虫选择. #435 Git 同步. 允许用户将 Git 项目同步到 Crawlab. 长任务支持. 用户可以添加长任务爬虫，这些爬虫可以跑长期运行的任务. 425 爬虫列表优化. 分状态任务列数…