二、大模型部署
本地部署大模型需提前安装Python 3.10及以上版本，Python官方下载地址为：www.python.org/，可在该网站下载对应系统的安装包及源码，完成安装后再进行后续本地部署操作。
2.1 线上服务器租用【autodl.com/login?url=%…】
主要用于大模型的云端部署，需选择配置适配大模型运行需求的服务器（重点关注CPU、GPU、内存等核心参数），租用后通过远程连接配置运行环境，完成大模型的安装与启动，适用于无需本地硬件支撑、需多终端访问的场景。
2.2 私有化部署
指将大模型部署在企业或个人自有服务器、本地设备上，部署过程需依托Python 3.10以上环境，结合模型自身需求配置硬件资源，可保障数据隐私安全，适用于对数据保密性要求高、需离线运行大模型的场景。
2.2.1 ollama【ollama.com/settings】
轻量级大模型私有化部署工具，支持一键安装、运行主流开源大模型（如Llama 3、Qwen、Mistral等），无需复杂的环境配置，适配Windows、Linux、macOS系统，核心优势是部署门槛低、轻量化，适合个人或中小团队快速完成本地私有化部署，可通过简单命令行操作实现模型的下载、启动、管理。
2.2.2 vllm
高性能大模型推理框架，主打高吞吐量、低延迟的私有化部署能力，基于Python 3.10+环境运行，适配各类开源大模型的推理优化，核心优势是支持批量请求处理、显存利用率高，适合企业级私有化部署场景，可满足高并发的大模型调用需求，需结合服务器GPU资源（如NVIDIA显卡）完成部署配置。
2.3 优化模型
在大模型私有化部署场景中，蒸馏模型与量化模型是两种常用的优化型模型，核心目的是降低模型部署的硬件资源要求、提升推理效率，适配不同配置的部署环境（与前文ollama、vllm部署工具形成适配）。
2.3.1 蒸馏模型
又称模型蒸馏，是通过技术手段将大参数量的“教师模型”（如千亿级LLM）的知识迁移到小参数量的“学生模型”中，在保留核心能力的前提下，大幅缩减模型体积和计算量。适配私有化部署场景，尤其适合硬件资源有限（如低配服务器、个人设备）的情况，可搭配ollama等轻量级部署工具使用，实现模型的快速启动与运行，兼顾性能与部署成本。
2.3.2 量化模型
通过将模型的权重参数从高精度（如FP32）转换为低精度（如INT8、INT4），减少模型占用的显存和内存，降低硬件运行压力。核心优势是无需改变模型结构，即可快速提升推理速度、降低部署门槛，适配vllm等高性能推理框架，也可用于ollama轻量化部署，广泛应用于企业级私有化部署（高并发场景）和个人本地部署（低配置设备），是私有化部署中最常用的模型优化方式之一。
2.4 提示词工程（Prompt）
提示词工程是通过科学设计提示指令，充分激发大模型能力、优化输出质量的核心技术，适配各类部署后的大模型使用场景，与前文模型部署、模型优化形成完整闭环，确保模型输出符合预期需求。
2.4.1 通用模型（CoT提示）
CoT提示即思维链（Chain of Thought）提示，适用于各类通用大模型，核心是通过引导模型逐步拆解问题、梳理推理过程，替代直接输出答案的方式，提升模型在复杂推理、逻辑分析类任务中的准确性，适配私有化部署后的通用LLM使用场景。
2.4.2 推理模型
针对推理类大模型设计的提示词优化方案，重点聚焦逻辑推理、数学计算、多步骤决策等任务，通过精准的指令引导，强化模型的推理能力，减少逻辑谬误，适配经过蒸馏、量化优化后的推理类模型，提升私有化部署场景下的模型推理效果。
2.4.3 提示词组成部分
规范的提示词需包含6个核心组成部分，按逻辑优先级排列如下：
- 任务
明确告知模型需完成的具体工作，是提示词的核心，确保模型精准理解需求；
- 上下文
提供与任务相关的背景信息、历史交互记录等，帮助模型把握任务场景，保持输出连贯性；
- 示例
给出符合预期的输出案例，引导模型学习输出格式、逻辑，提升输出一致性；
- 角色
为模型设定具体角色（如工程师、分析师），明确输出的专业调性；
- 格式
指定输出的具体格式（如表格、列表、段落），满足实际使用需求；
- 语气
定义输出的语气风格（如严谨、简洁、专业），适配不同使用场景（如工作汇报、技术文档）。
