爬虫相关
2篇文章 · 0订阅
  • 爬虫爬不到数据？试试puppeteer（Node.js）
    前不久，在学校仿微博鲜知微信小程序的时候，正愁数据从哪来，翻到了数据一样的页面微博新鲜事（需退出登录状态），接着用cheerio爬取数据。结果翻车了，检查了一下发现发出请求拿到的body是空的，到微博新鲜事的网页源代码一看，发现...人家的html是js渲染的，应该是还有一次跳…
    Node.js
    爬虫爬不到数据？试试puppeteer（Node.js）
  • 如何结合Node和Puppeteer做网络爬虫
    其实爬虫用很官方的语言来描述就是“自动化浏览网络程序”，我们不用手动去点击、去下载一些文章或者图片。大家或许用过抢票软件，其实就是不断地通过软件访问铁路官方的接口，达到抢票的效果。但是，这类抢票软件是违法的。 那么怎么判断爬虫是不是违法呢？关于爬虫是否非法其实没有很明确的说法，…
    爬虫