Marshal

介绍一种 Windows 下使用 WSL 和 Docker 的方式，不使用 Docker Desktop，而是直接在 VM 中安装 Docker。

介绍一种结合 Obsidian 笔记软件和大模型相关技术的个人知识库问答实现方法。 这种方法的主要好处是不用再手动维护笔记的分类和链接关系，借助模型的语义理解能力快速形成答案。

本文介绍了通过 RAG 实现工作总结和工作细节问题回答的方法。另外在文中也给出了生产实践中遇到的问题，以及解决问题的方向和思路。

RAG 在概念验证阶段（POC）应该做一个性能评估，确定生成的回答是否能满足用户最基本需求。本文介绍如何在实践中运用 Ragas 实现这一评估过程。

使用大模型，通过自然语言的查询语句，从数据库获取结果，是目前大模型和结构化数据交互的一种主流形式。本文介绍了了使用大模型，将自然语言生成查询结果的过程和方法，并给出初步结论。

LLMPerf 可以做针对大语言模型的负载测试和正确性测试，提供了对应的命令行工具。 安装和配置 LLMPerf 比较繁琐，我封装了 Docker 镜像，方便直接使用。 下面介绍怎么使用。

通过JupyterLab 笔记实现代码，介绍如何实现基于 LlamaIndex 的嵌入和重排查询。尤其是在显存受限的设备上（4GB）怎么跑通程序逻辑。