获得徽章 0
#All-in-rag学习打卡 Task2
今天主要学了分块相关的知识，首先是从各种经典方法中理解到分块的思想，大致可以分为：字符长度、分隔符、语义分割，我觉得最牛的还是语义分割，它能最好的还原对人类有意义的信息，其中我最惊艳的还是LlamaIndex的两个功能，即SnentenceWindowNodeParser和流水线，前者让我联想到最近公司微调ChatBI的训练场景，后者我认为是可以自定义最佳实践的好方法
今天主要学了分块相关的知识，首先是从各种经典方法中理解到分块的思想，大致可以分为：字符长度、分隔符、语义分割，我觉得最牛的还是语义分割，它能最好的还原对人类有意义的信息，其中我最惊艳的还是LlamaIndex的两个功能，即SnentenceWindowNodeParser和流水线，前者让我联想到最近公司微调ChatBI的训练场景，后者我认为是可以自定义最佳实践的好方法
展开
评论
1