Crawlab开发组

本次修复主要集中在 Bug 修复和一些必要的优化。 交互式教程. 引导用户了解 Crawlab 的主要功能. 加入全局环境变量. 可以设置全局环境变量，然后传入到所有爬虫程序中. #177 项目. 允许用户将爬虫关联到项目上. #316 示例爬虫. 当初始化时，自动加入示例爬虫…

爬虫是一件有趣的事情，让你可以通过爬虫程序自动化的将网上的信息抓取下来，免去了很多人工操作。在一些优质爬虫框架出来之前，开发者们还是通过简单的网络请求+网页解析器的方式来开发爬虫程序，例如 Python 的 requests + BeautifulSoup，高级一点的爬虫程序还…

Crawlab 是一款受人欢迎的分布式通用爬虫管理平台，由 Crawlab 开发组 开发和维护。自去年 3 月份上线以来，Crawlab 因为极其强大的灵活性、简单精美的操作界面以及健壮而稳定稳定的功能表现，不断受到爬虫工程师和开发者的喜爱和好评，如今已经有了近 4k Gith…

今天我们来说一说如何在Kubernetes（以下简写k8s）集群当中搭建一个Crawlab爬虫平台。阅读本文需要读者熟悉Docker的使用以及了解k8s的一些基本概念。 首先，先介绍下k8s的几个重要概念。 Pod是k8s集群中最基本的单位，一个Pod包含一组容器（Conta…