js爬虫
最近想写一个爬虫脚本，查了查网上的脚本教程都是基于pyhton的比较多，而js就很少。问了问我的小伙伴js爬虫需要什么工具吗？大概需要的工具有axios,cheerio，当然也安装了node.js。
安装好了基本工具之后，我们就开始快乐coding了，axios是用来前后端交互比较多，这里我用来获取html，想到之前爬豆瓣的时候遇到ajax，页面元素并不是在渲染好了就有数据，导致拿不到想要的信息。
在网上看到了D版图书的网址，一看就是不会对我的爬虫有什么抵御措施，也正好练手。
首先第一步，我们要拿到html，打开网页分析一下页面元素，在这里我访问的链接是http://www.shuquge.com/txt/108449，耳根大大的书，并且寻找到小说章节的url是在.listmain dl dd a下
下面是我的代码
let instance = axios.create({
baseURL: 'http://www.shuquge.com/txt/108449',
timeout: 2500,
});
//得到html模板
async function getHtml() {
let html = await instance.get('index.html').then(res => res.data);
return getUrl(html);
}
//得到书本章节的url请求
function getUrl(html) {
let $ = cheerio.load(html);
let list = Array.from($('.listmain dl dd a'));
let urlArr = [];
// ele.attribs.href
list.forEach(ele => urlArr.push(ele.attribs.href));
return urlArr;
}
这两个函数执行后，返回的是这本小说的所有章节的url，这样我就离最后爬完整本书做了基础，剩下的就是访问这些url，获得具体小说信息，并且保存下来就好了。
function sendGetRequest(url) {
return instance.get(url);
}
async function getNovel() {
let urlArr = await getHtml();
fetchUrl(10, urlArr).then(res => {
console.log('结果为' + res.length);
for (let i = 0; i < res.length; i++) {
console.log(res[i]);
fs.appendFile('三寸人间.txt', res[i], function () {
(console.log('写入第' + i + '章' + '成功'))
})
}
})
}
这里的代码我已经修改过，原来的想法是，小说的抓取是顺序一章章抓取，那么写文件的时候的结果也是一章章。写个for循环，简单又能实现抓取小说的目的。
但是怎么能这么简单就结束呢？我的小伙伴和我说，搞个并发，一次发起n次请求效率比原来快得多。我上网查阅了这方面的资料，实在是很少。我设定了一个max值，然后发送请求就max++，如果到达n就不在发送新的。
这样想会出现几个问题，一、我的请求完成获取不到二、只能并发一次，达到上限之后就不会继续执行。
我开始想的很单纯，既然这样我就外面写个async 里面写个await 等待并发的请求结束，那其实就是和同步执行并无差别，只是等待一个批次,一个批次有n个请求， 等待这一个批次的请求都返回了，才会执行下一个批次的请求。 我对这样的结果并不满意。
接下来是我优化后的代码。
//howmany是一次抓取多少,urlArr是url数组
async function fetchUrl(howMany, urlArr) {
return new Promise((res, rej) => {
let result = [];//保存爬取记录
let count = 0;//记录url在数组中的坐标
let task = [];//任务队列
let remain = 0;//记录剩余未抓取的url
let doTask = (indexOfTasks, indexOfUrls = count) => {
//生成promise，并且执行
let req = sendGetRequest(urlArr[indexOfUrls]);
req.then(data => {
remain--;
if (count >= urlArr.length) {
if (remain === 0) return res(result);
return;
}
doTask(indexOfTasks);
result[indexOfUrls] = getContent(data.data);
count++;
remain++;
}, rej => {
console.log("请求失败" + rej);
doTask(indexOfTasks, indexOfUrls);
});
console.log('正在发送第' + count + '次请求' + '并发数为' + task.length);
task[indexOfTasks] = req;
}
for (let i = 0; i < howMany; i++) {
doTask(i);
count++;
remain++;
}
})
}
这里的内容就比较多了，先解释一下这个代码块。
for (let i = 0; i < howMany; i++) {
doTask(i);
count++;
remain++;
}
执行的时候发送howmany个请求，并记录发送的请求数，remain记录队列里还有多少未完成的请求。
比如我先发送10个请求，就相当于是叫10个工人干活，工人完成了自己的工作后，就让其他工人顶替自己的位置，而工位就只有10个。
工人完成自己的任务之后，吩咐自己的同事接下来要做什么样的工作，并且让同事坐到自己的工位上。
当工厂的剩余任务为0(remain等于零的时候) 工人就可以下班了。
但是因为是并发，所以你不知道哪个工人先完成任务，即小说的章节是乱序的，为此我又用闭包记录了当前url在数组中的位置，这样虽然是并发执行的，但是结果是按位置加入数组的。
解决了这个问题之后，我又在想万一出错了怎么办就用这个坐标值，拿到出错的url,重新获取小说内容。
爬取多部小说
完成了这个任务之后，我就在思考，如果每次都需要知道url地址，从而爬取某部小说的内容，这个脚本还不够智能。 于是我分析了首页小说的html，获取到每个版块榜首的小说url和名字，再通过这个url进行之前的操作，那不是就可以获取到这个小说网版块榜首的小说，但不用自己再去看Html。 说干就干，最后的代码是这样。
const cheerio = require('cheerio');
const axios = require('axios');
const fs = require('fs');
//获取首页热门小说url，并创建axios
async function getHotNovelUrl() {
let novel = {
Names: null,
Urls: null
};
let instance = axios.create({
baseURL: 'http://www.shuquge.com/',
timeout: 2500,
});
let result = await instance.get().then(res => res.data);
let $ = cheerio.load(result);
novel.Names = Array.from($('.block .image a img')).map(ele => ele.attribs.alt);
novel.Urls = Array.from($('.top dl dt a')).map(ele => 'txt/' + ele.attribs.href.match(/[0-9]/g).join('') + '/');
console.log(novel);
return novel;
}
//得到html模板,index代表axiosArr中的位置
async function getHtml(url) {
let instance = axios.create({
baseURL: 'http://www.shuquge.com/' + url,
timeout: 2500
})
let html = await instance.get('index.html').then(res => res.data);
return getUrl(html);
}
//得到书本章节的url请求
function getUrl(html) {
let $ = cheerio.load(html);
// let document.querySelectorAll(".listmain dl dd a")[0].getAttribute("href");
let list = Array.from($('.listmain dl dd a'));
let urlArr = [];
list.forEach(ele => urlArr.push(ele.attribs.href));
return urlArr;
}
function getContent(html) {
let $ = cheerio.load(html);
let content = $('.content h1').text() + $('#content').text();
return content;
}
function sendGetRequest(baseURL, url) {
console.log(baseURL, url);
let instance = axios.create({
baseURL: 'http://www.shuquge.com/'+ baseURL,
timeout: 2500
})
return instance.get(url);
}
async function getNovel() {
let novels = await getHotNovelUrl();
let urlArr = [];
for (let i = 0; i < novels.Urls.length; i++) {
await getHtml(novels.Urls[i]).then(result => urlArr.push(result));
}
console.log(urlArr);
for (let i = 0; i < urlArr.length; i++) {
await fetchUrl(50, urlArr[i], novels.Urls[i]).then(res => {
console.log('结果为' + res.length);
for (let j = 0; j < res.length; j++) {
console.log(res[j]);
fs.appendFile(novels.Names[i]+'.txt', res[j], function () {
(console.log('写入第' + j + '章' + '成功'))
})
}
})
}
}
//howmany是一次抓取多少,urlArr是url数组
async function fetchUrl(howMany, urlArr, baseURL) {
return new Promise((res, rej) => {
let result = []; //保存爬取记录
let count = 0; //记录url在数组中的坐标
let task = []; //任务队列
let remain = 0; //记录剩余未抓取的url
let doTask = (indexOfTasks, indexOfUrls = count) => {
//生成promise，并且执行
let req = sendGetRequest(baseURL, urlArr[indexOfUrls]);
req.then(data => {
remain--;
if (count >= urlArr.length) {
if (remain === 0) return res(result);
return;
}
doTask(indexOfTasks);
result[indexOfUrls] = getContent(data.data);
count++;
remain++;
}, rej => {
console.log("请求失败" + rej);
doTask(indexOfTasks, indexOfUrls);
});
console.log('正在发送第' + count + '次请求' + '并发数为' + task.length);
task[indexOfTasks] = req;
}
for (let i = 0; i < howMany; i++) {
doTask(i);
count++;
remain++;
}
})
}
getNovel();
希望能给大家带来帮助，另外这段代码仅为学习之用，不要给人家带来不必要的服务器负担。
