“你是否遇到过这些问题：
- 想用大模型查询内部文档，但ChatGPT无法读取本地文件？
- 开源模型部署复杂，显存要求高，普通显卡跑不起来？
- RAG方案教程一堆，但实际跑通总是报错？
本文将用Qwen1.5-7B（显存占用＜8GB） + LangChain，从0到1实现一个支持PDF/TXT问答的本地知识库系统。
Step 1：环境搭建与模型量化（节省50%显存）
关键点：使用量化技术降低显存需求
避坑指南：
- 若出现
CUDA out of memory，尝试调整max_memory参数分配显存 - 必须使用
trust_remote_code=True以支持Qwen自定义算子
Step 2：构建本地知识库（PDF/TXT解析优化方案）
关键点：解决PDF特殊格式解析乱码问题
避坑指南：
- 中文文档避免直接使用默认
chunk_size=1000（易截断句子） - 扫描件PDF需先用OCR工具转换（推荐PaddleOCR）
Step 3：实现RAG问答链（附效果对比）
关键点：优化Prompt提升回答准确性
实测效果
| 任务类型 | 原始Qwen-7B | 本方案（RAG优化） |
|---|---|---|
| 事实性问题准确率 | 72% | 89% |
| 幻觉回答比例 | 41% | 6% |
| 显存占用 | 14GB | 7.8GB |
| （测试数据来自TechNews2023中文技术报告集） |
