novel-crawler-cli:一个基于Node.JS和puppeteer的纯命令行小说爬虫软件
如果你是一个喜欢阅读免费小说的人,你可能会遇到这样的问题:你想要下载一本小说到你的电脑或手机上,但是你找不到合适的下载链接,或者下载的文件格式不符合你的阅读器。你可能会想,有没有一种方法可以直接从网上爬取小说,并且保存成你想要的格式呢?
答案是有的,而且就在这里:novel-crawler-cli。这是一个基于Node.JS和puppeteer的纯命令行小说爬虫软件,它可以让你轻松地从免费小说网站上爬取小说资源,并且保存成txt格式。它支持多个小说网站,主要以各种笔趣阁和起点中文网为主。支持透过cookies登入起点账号,并借此爬取起点的已购买vip章节。另外,与其他项目不同,这个项目的readme写的很详细!
GitHub: github.com/lingo34/nov…
如果你想要爬取其他的小说网站,也可以很轻松地给novel-crawler-cli添加适配。只需要在src/config.js文件中添加一个新的网站配置对象,包括网站的名称、域名、搜索接口、小说信息选择器、章节列表选择器和正文选择器。你可以参考已有的网站配置来编写自己的配置。如果你遇到任何问题,你可以在GitHub上提出issue或者联系作者。
或是如果你有想爬取的网站,也可以联系作者或加入他的telegram交流群
使用novel-crawler-cli非常简单,只需要几个步骤:
- 安装Node.JS和npm(如果你还没有的话)。
- 克隆或下载novel-crawler-cli的源码。
- 在项目根目录下运行
npm install安装依赖。 - 运行
node index.js启动程序。 - 根据提示输入你想要爬取的小说名称、作者、网站和保存格式。
- 等待程序完成爬取和保存,然后在output文件夹下找到你的小说文件。
novel-crawler-cli是一个开源项目,欢迎大家给作者提供反馈和建议,或者贡献代码和文档。如果你觉得novel-crawler-cli对你有用,请给它一个星星吧!
Source: Conversation with Bing, 2023/6/19
(1) lingo34/novel-crawler-cli: 基于Node.JS 与puppeteer的纯命令行爬虫软件,以爬取免费小说网站上的免费小说资源。 - GitHub. github.com/lingo34/nov….