马哥原创：自动采集小红书博主笔记软件。根据小红书博主链接，采集其已发布笔记数据，字段包含：作者昵称,作者id,作者链接,页码,笔记标题,笔记id,笔记链接,笔记类型,点赞数。

[toc] # 一、爬取目标 您好，我是[@马哥python说](https://www.zhihu.com/people/13273183132)，一名10年程序猿。 本次爬取的目标是：[抖音热榜](https://www.douyin.com/hot) ![抖音热榜页面](https://img

本篇文章将介绍我开发的基于大语言模型（LLM）的智能爬虫产品：Crawlab AI。虽然它还处于早期开发阶段，但已经展现出强大的潜力，有望让数据从业者轻松获取数据。

本篇文章内容较多，涉及知识较广，读完需要大约 20 分钟，请读者耐心阅读。 大多数企业都离不开爬虫，爬虫是获取数据的一种有效方式。对搜索引擎来说，爬虫不可或缺；对舆情公司来说，爬虫是基础；对 NLP来说，爬虫可以获取语料；对初创公司来说，爬虫可以获取初始内容。但是爬虫技术纷繁复…

## 前言 只有自己封装库的时候，才知道造轮子有多累。之前使用Python的时候，基本都只需要import，随便哪个功能都有人写好轮子用。不过造轮子也有好处，可以了解一些比较基础的知识。 其实a

**原文链接: https://mp.weixin.qq.com/s/f8zbM6wMld3koqjaFbCuxw** ## 前言 微信关注了很多技术类的公众号，但是一直都没看，所以想先把文章

前言 前面文章介绍了系统架构和PC端采集文章列表的实现，这篇文章主要介绍正文的爬取和文章浏览量、点赞数和在看数的获取。和之前一样，只介绍思路和逻辑，有需要的码友可以去gitee下载源码。

前言 前面两篇文章介绍了系统流程和功能模块的封装，这篇文章将对消息列表的采集做以说明，此篇文章中注重思路而不是技术和源码，逻辑的代码千篇一律，可靠的算法万里挑一。