Crawlab开发组

经过一年多的发展，如今 Crawlab 已经在 Github 上有接近 6k Star，多次上到 Github Trending 日榜，成为最受欢迎的爬虫管理平台。从 2019 年 3 月开始，Crawlab 作为一个开源项目发展到如今，与活跃的社区支持、不断的用户反馈是分不开…

优化日志管理. 集中化管理日志，储存在 MongoDB，减少对 PubSub 的依赖，允许日志异常检测. 自动安装依赖. 允许从 requirements.txt 和 package.json 自动安装依赖. API Token. 允许用户生成 API Token，并利用它们来…

Kubernetes（K8S） 是非常强大的容器编排工具，可以管理大型集群、微服务、分布式应用等等，是生产环境多节点部署中非常合适的选择。 而 Crawlab 作为分布式爬虫管理平台，同样也支持 Kubernetes 部署。Kubernetes 部署适合比较大型的分布式应用，但…

更好的支持 Scrapy. 爬虫识别，settings.py 配置，日志级别选择，爬虫选择. #435 Git 同步. 允许用户将 Git 项目同步到 Crawlab. 长任务支持. 用户可以添加长任务爬虫，这些爬虫可以跑长期运行的任务. 425 爬虫列表优化. 分状态任务列数…

用过React的读者知道，经常用extends继承React.Component。 面试官可以顺着这个问JS继承的相关问题，比如：ES6的class继承用ES5如何实现。据说很多人答得不好。 要弄懂extends继承之前，先来复习一下构造函数、原型对象和实例之间的关系。 其中这…

本次更新主要集中在日志管理、任务触发、爬虫展示等优化，以及加入 Node.js SDK。 Node.js SDK. 用户可以将 SDK 应用到他们的 Node.js 爬虫中. 日志管理优化. 日志搜索，错误高亮，自动滚动. 任务执行流程优化. 允许用户在触发任务后跳转到该任务详…

本次更新主要集中在日志管理、任务触发、爬虫展示等优化，以及加入 Node.js SDK。 Node.js SDK. 用户可以将 SDK 应用到他们的 Node.js 爬虫中. 日志管理优化. 日志搜索，错误高亮，自动滚动. 任务执行流程优化. 允许用户在触发任务后跳转到该任务详…

本次修复主要集中在 Bug 修复和一些必要的优化。 交互式教程. 引导用户了解 Crawlab 的主要功能. 加入全局环境变量. 可以设置全局环境变量，然后传入到所有爬虫程序中. #177 项目. 允许用户将爬虫关联到项目上. #316 示例爬虫. 当初始化时，自动加入示例爬虫…

2019 年底开始蔓延的新型肺炎疫情牵动人心，作为个体，我们力所能及的就是尽量待在家中少出门。 看到一些朋友叫设计同学帮忙给自己的头像戴上口罩，作为技术人，心想一定还有更多人有这样的诉求，不如开发一个简单的程序来实现这个需求，也算是帮助设计姐姐减少工作量。 关于人脸识别，可以使…