获得徽章 0
动态
文章
专栏
沸点
收藏集
关注
作品
赞
8
赞
8
返回
|
搜索文章
最新 热门
  • 国内机票历史价格数据库
    该数据库包含从2017年1月1日至今，国内2千多条直飞航线的出发前90天内的历史价格信息，具有包含价格历史长、连续性高、密度高、价格数据准确等特点。数据来源于互联网公开可查询数据，可用于科研、价格预测、出行优化等各种领域。 注：以下统计数据从2017年1月1日至2019年10月…
    • 6年前
    • 12k
    • 评论
    大数据
  • 从数据到产品——爱飞狗背后的故事
    这篇文章基于最近整理的一份演讲的Slide，由于报名太晚错过了截止日期，所以只好写成文章，一起来看看爱飞狗背后的一些故事。 几年前我和家人会经常往返于成都和广州两个城市，从平时的观察中可以看到机票价格从400人民币到全价接近1500人民币，机票产生的波动有时候会高达100元以上…
    • 6年前
    • 600
    • 评论
    大数据
  • 使用k3s减少k8s成本
    爱飞狗后台的数据爬虫以及数据服务器资源都部署在k8s上，使用rancher搭建。在不影响太多性能的情况下尽量选择最低配置的机器。对于内存不足的情况适当的使用交换文件代替（swap）。整个集群大致结构如下： 一个月的开销大概在60美元左右。分析上面的集群可以发现，rancher和…
    • 6年前
    • 3.1k
    • 2
    Kubernetes
  • 你要的免费Proxy资源全在这里了
    在《爬虫实战：从数据到产品》一书中，我讲到了一个基于ProxyBroker的代理池。经过我的长时间的实践，这个代理池用起来非常的方便和稳定。 基于ProxyBroker，增加了中国区域的代理资源。并引入了docker-compose，能够快速的方便的开始代理的抓取。 然后浏览器…
    • 6年前
    • 2.9k
    • 评论
    爬虫
    • 个人成就
    文章被点赞 9
    文章被阅读 18,706
    掘力值 222
    收藏集
    0
    关注标签
    17
    加入于