人工智能

大模型对话风格微调项目实战——部署上线篇 目录 背景介绍 本文的任务 部署模型到本地服务器 部署框架选择 安装vLLM 启动vLLM服务器 开发Web应用 开发框架选择 安装Streamlit 开发W

本文完整记录了Qwen2-1.5B模型对话风格微调项目，通过XTuner框架实现"温柔"和"毒舌"两种风格的迁移，包含模型选型、评测、训练及效果评估全流程，最终验证了微调的有效性。

本文介绍了大模型对话风格微调项目的数据工程部分，包括项目背景、目标、流程，以及数据收集（使用LCCC数据集和GLM-4生成不同风格回复）、数据清洗（基于语义相似度去重）和工程化实现的具体方法。

## 目录 - [介绍](#介绍) - [支持的论文格式](#支持的论文格式) - [预处理]

# 使用llama-factory进行模型量化 ## 安装llama-factory ### 1

# Ollama部署GGUF格式量化的模型 ## 0. 安装ollama ### 0.1 配置代