网站归档开源利器:用sitefetch实现全站递归爬取并保存为一个Markdown格式文本文件

55 阅读1分钟

以下是对 sitefetch 的简单介绍:

  • 一键递归爬取整个网站并将其保存为一个Markdown格式文本文件
  • 支持路径匹配、内容筛选,并且默认支持多线程并发抓取内容
  • 开源地址参考:github.com/egoist/site…

快速安装使用sitefetch实操示例参考:

网站归档开源利器:用sitefetch实现全站递归爬取并保存为一个Markdown格式文本文件