子竹聆风

如果没有兴趣，了解我遇到的坑，可以不用往下看了。 此篇文章纪录下问题，涉及到财务申请，技术变更（代理方案和代码变更），即是公司流程和技术上的双重问题，公司内，繁杂的审批流程问题。 写下来，总归是好。 为什么是500元，因为隧道代理，一般都是500块钱包月起步的。如果每月预算超过…

We often need a lot of training data for machine learning, and web scraping can be a way to acquire it. 我们经常需要大量的机器学习训练数据，而网络抓取可以成为获取这些数据的一…

回顾和分析赛后视频是运动员提高比赛成绩的有效方法。著名的 Tom vs Time 视频告诉我们，即使是像 Tom Brady 这样的传奇足球运动员，他仍然需要每天观看赛后视频来提高和准备比赛。 对于网球爱好者来说，我们不是职业运动员。我们没有一个团队和我们一起周游世界。这意味着…

回顾下去年做的节假日日历数据的解决方案涉及到的项目：LKI/chinese-calendar判断一天是不是法定节假日/法定工作日（查看节假日安排）NateScarlet/holiday-cn📅🇨🇳中国

安装macOS设置测试代码

适用场景：新增数据的场景，不适合无新增数据。 具体操作：监控error和error数量。爬虫从非结构化的数据到结构化，异常错误，一定是存在的，所以，我们虽然监控error，但是告警需要设置error的阈值，避免告警轰炸。 比如爬取新闻，但是页面变化，最重要的列表页没有拿到，数量…

任务多了，长时间使用splash，会发现8050端口连通性失败。 其实通过容器的健康检查就可以解决这个问题。

【docker+pyppeteer跑通】想想空间很大，python版puppeteer，配合异步，docker的扩展。 网上没什么现成的资料，终于琢磨出来了。 splash集群渲染效果差，selenium gird内存原因等引发的长期不稳定问题，pyppeteer配合async…

基于spalsh或者selenium的渲染后HTML，通过配置文件解析，入库。 提高了效率，一天可以写几十个配置dict，即完成几十个网站爬虫的编写。

早上9点，我的10个爬虫同时启动作业，他们都需要代理。 虽然代理IP 111.111.111.111 在网站A被ban，但是他可以在网站B使用，应该考虑复用的问题。 添加被ban的域名。 如果第一个请求，判断出IP被ban，修改json数据，再存入代理池供其他爬虫取用。如果没有…