获得徽章 0
- Crawlab最新版本发布,这下功能更完善了,需要安装爬虫运行环境和实践爬虫管理DevOps的朋友,请看过来~18
- 花了两天时间研究了一下Kubernetes,终于把Crawlab集群跑起来了~现在Crawlab Demo网站已经从以前的Docker Compose迁移到了k8s集群,主服务器负荷一下小了很多~虽然还有很多新手小白的错误,例如数据库要用statefulset,不过好歹是体验了一下k8s的香味,几个yaml文件部署一个高可用的集群,真的香!1719
- 从Crawlab到ArtiPub,经过不断优化和改进,不到一个月的时间收获第二个过千star项目,说明之前的经验还是有帮助的,抓住用户痛点的产品才能受到欢迎。今后我们会不断完善产品,将ArtiPub打造得更实用和稳定。ArtiPub (Article Publisher的简称,意为"文章发布者")是一款开源的一文多发平台,可以帮助文章作者将编写好的文章自动发布到掘金、SegmentFault、CSDN、知乎、开源中国等技术媒体平台,传播优质知识,获取最大的曝光度。
github.com
展开411 - 基于Golang的分布式爬虫管理平台,支持Python、NodeJS、Java、Go、PHP等多种编程语言以及多种爬虫框架。Crawlab主要解决的是大量爬虫管理困难的问题,可以对成规模的爬虫项目进行有效监控管理。
github.com
4117