CodeDevMaster

大多数LLM应用都具有对话功能，如聊天机器人，记住先前的交互非常关键。对话的重要一环是能够引用之前提及的信息，这些信息需要进行存储，因此将这种存储过去交互信息的能力称为记忆 ( Memory )。

LangChain根据功能、用途的不同，提供了大量的Chain链，以下是一些Chain链的使用示例。

Chain是LangChain中非常重要的一个组件,可以帮助我们更好地组织和管理应用程序的各个功能模块,提高开发效率和应用程序的复杂性。

Ollama是一个开源项目，它专为在本地机器上能便捷部署、以及运行大型语言模型（LLM）而设计的工具。

llama.cpp的主要目标是能够在各种硬件上实现LLM推理，只需最少的设置，并提供最先进的性能。提供1.5位、2位、3位、4位、5位、6位和8位整数量化，以加快推理速度并减少内存使用。

Unsloth是一个开源的大模型训练加速项目，可以显著提升大模型的训练速度，减少显存占用。本文将使用Unsloth微调Llama3-Chinese-8B-Instruct中文开源大模型。

安装CUDA Toolkit解决异常：OSError: CUDA_HOME environment variable is not set.

一款超级轻量级的虚拟机：Multipass。它专为想要通过单个命令获得全新 Ubuntu 环境的开发人员而设计，下载一个全新的镜像需要几秒钟的时间，并且在几分钟内就可以启动并运行VM。

输出解析器负责获取 LLM 的输出并将其转换为更合适的格式。借助LangChain的输出解析器重构程序，使模型能够生成结构化回应，并可以直接解析这些回应。