NODE 批量抓取网站图片并保存在本地

目标网站：妹子图（别忘了回来~~）
GitHub 地址

启动项目

• 命令

npm i
npm start

• 配置文件

// 配置相关
module.exports =  {
  originPath: 'http://www.mzitu.com', // 请求地址
  savePath: 'E:/meizi', // 存放图片路径
  maxPage: 20 // 可爬取的最大页码
}

技术点

• Axios: 发起 get 请求，获取页面和图片 stream

// 获取页面
async getPage (url) {
  return {
    res: await axios.get(url)
  }
}
// 把获取的文件写入本地
await axios({
  method: 'get',
  url: imageSrc,
  responseType: 'stream',
  headers
}).then(function(response) {
  response.data.pipe(fs.createWriteStream(fileName))
})

• Cheerio: 覆盖了 jQuery dom 部分核心 API，可操作获取的文档对象

// res.data： 获取的文档对象
let list = []
const $ = cheerio.load(res.data)
// 获取文档中所有的相册
$('#pins li a').children().each((index, item) => {
  let album = {
    name: item.attribs.alt, // 相册名称
    url: item.parent.attribs.href // 相册地址
  }
  list.push(album)
})

• fs.createWriteStream: 保存图片到本地

await axios({
  method: 'get',
  url: imageSrc,
  responseType: 'stream',
  headers
}).then(function(response) {
  response.data.pipe(fs.createWriteStream(fileName))
})

爬取结果截图

说明

GitHub 地址
此爬虫仅用于个人学习，如果侵权，即刻删除！