dony7247

文章中记录下天猫评论的入口，这个入口可以看到前10000条记录。并分析了 js 逆向，mitmproxy 两种方式来爬取评论数据的方式。

本文对基于LLM的文档问答的原理进行了说明，对基中涉及的技术点进行拆解说明。对网上demo 说明并改进。

流程图： spiderflow 左侧有十多个节点，但常用的就三个: 输出到数据库 字段抽取 获取html源码 上面流程图的意思是： 从列表页找出详情页的链接 获取详情页的html 从详情页的html

本文分析了chatGPT的能力，深度学习的发展历史，Transformer 的发展历史，chatGPT的训练方法，“三部曲”

chatGPT 在最近火爆全网，本人在使用了3个月后，对Prompt 进行了总结,并对其技术点进行分析。

介绍了百度ppstructure ，在安装，使用过程中遇到的问题，用它解析pdf 文件，对解析文件进行分析。

后羿爬虫软件 + 3个实习生，200 个网站，要求1.5个月完成采集工作。后羿生成模板是很方便的，也遇到一些问题。

总结现在爬虫行业的现状，分为爬虫技术框架，爬虫行业产品，爬虫安全, 行业优秀个人。给后来者一些参考。

Neo4j简介： Neo4j 是图数据库的代表，支持Cyber语法进行操作。 与mysql 类似，操作时，通过定义schema, 再导入数据。 Community 与专业版区别： Community