人工智能

QLoRA是LoRA的扩展版本,在微调过程中引入了量化技术,以进一步提高参数效率。QLoRA利用LoRA的原理，并引入了4位NormalFloat（NF4）量化和双重量化技术，进一步减少了存储和计算资

LORA(Low-Rank Adaptation)是一种高效的模型微调技术,它可以通过在预训练模型上添加额外的低秩权重矩阵来微调模型,从而仅需更新很少的参数即可获得良好的微调性能。

Ollama是一个开源项目，它专为在本地机器上能便捷部署、以及运行大型语言模型（LLM）而设计的工具。

llama.cpp的主要目标是能够在各种硬件上实现LLM推理，只需最少的设置，并提供最先进的性能。提供1.5位、2位、3位、4位、5位、6位和8位整数量化，以加快推理速度并减少内存使用。

Unsloth是一个开源的大模型训练加速项目，可以显著提升大模型的训练速度，减少显存占用。本文将使用Unsloth微调Llama3-Chinese-8B-Instruct中文开源大模型。

安装CUDA Toolkit解决异常：OSError: CUDA_HOME environment variable is not set.

OpenAI API可以应用于几乎所有涉及生成自然语言、代码或图像的任务。提供了一系列不同能力级别的模型，适用于不同任务的，并且能够微调自己的自定义模型。

Stable Diffusion WebUI是一个基于Gradio库的浏览器界面，用于使用Stable Diffusion生成图像，它提供了一个简单易用的界面，可以让用户快速生成图像。

FastGPT 是一个基于 LLM 大语言模型的知识库问答系统，提供开箱即用的数据处理、模型调用等能力。同时可以通过 Flow 可视化进行工作流编排，从而实现复杂的问答场景！

text-generation-webui是一个基于Gradio的LLM Web UI开源项目，可以利用其快速搭建部署各种大模型环境。

Llama2开源且免费用于研究和商业用途，接受2万亿个标记的训练，上下文长度是Llama1的两倍。Llama2包含了70亿、130亿和700亿参数的模型。

PyTorch的安装绝对是一个不是那么简单的过程，或多或少总是会出现一些奇奇怪怪的问题，这里分享记录一下PyTorch的安装心得。

Langchain-Chatchat是一个基于ChatGLM大语言模型与Langchain应用框架实现的大语言模型本地知识库应用项目。