学习要求
必须有以下知识储备：
- Linux基础
- Docker&Git
- Python基础
- Http网络通信&Restful API接口规范
- web前端基础&前后端分离&FastAPI
LLM
基本概念
大型语言模型，基于海量的数据进行学习得到的模型。
大模型技术选型
在线大模型：
OpenAI GPT
Google Gemini
Authropic Claude
智谱AI GLM
百度 文心一言
优缺点：
模型性能优越、研发成本低（0.005-0.008元/1000个token）、可以站在巨人的肩膀上快速探索前沿技术应用，稳定性和使用安全性高，但数据安全存在隐患，业务受制于人，上车容易下车难。
开源大模型：
Meta Llama（3.1 405B）
Mistral AI
X AI Grok
阿里 通义千问 Qwen
Baichuan
360 zhinao
优缺点：( 7B大模型->70亿->4张4090 ->语料->上十亿 -> )
完全自主可控，扩展性强，定制型强，数据安全有保障，但需要投入大量算力和开发成本，依赖开源，不好转身。
Llama系列
LLaMA系列大模型是Meta公司在2023年2月开源的基于 transformer 架构的大型语言模型， 包括四种尺寸(7B 、13B 、30B 和 65B)，并在2024年进一步发展，推出了Llama 3版本。Llama3在多种行业基准测试中展现了最先进的性能，提供了包括改进的推理能力在内的新功能，是目前市场上最好的开源大模型之一。
Qwen系列
文档：qwen.readthedocs.io/zh-cn/lates…
随着GLM的闭源，阿里的通义千问已经成为了国内开源大模型的领袖。
Qwen平均1个季度发布一个版本，性能始终处于开源大模型的第一梯队水平。目前最新发布版本：Qwen2.5。
阿里的魔塔社区（modelscope.cn/models）也随着技…
阿里还提供了高度适配的SWIFT轻量级微调框架和Qwen-Agent开发框架，其中SWIFT提供了代码环境和脚本微调两种模式，配套海量开源微调数据集，可以执行包括知识灌注、模型自我意识微调、Agent能力微调和领域能力微调等功能，还提供一键微调等功能。Qwen-Agent则支持高效稳定Multi Function calling、ReAct功能，支持调用开源大模型以及灵积平台的在线模型。
prompt
提示工程（Prompt Engineering）是一项通过优化提示词（Prompt）和生成策略，从而获得更好的模型返回结果的工程技术。
其基本实现逻辑如下：
简单而言，大模型的运行机制是“下一个字词预测”。用户输入的prompt即为大模型所获得上下文，大模型将根据用户的输入进行续写，返回结果。因此，输入的prompt的质量将极大地影响模型的返回结果的质量和对用户需求的满足程度，总的原则是“用户表达的需求越清晰，模型更有可能返回更高质量的结果”。
prompt工程这种微调手段对于大模型本身的推理能力的提升的范围大概也就10%左右。大模型训练工程师，prompt工程多数用在在线大模型，而不是开源大模型。
Prompt经验总结：清晰易懂、提供例子和锁定上下文、明确步骤、准确表达意图。
去玩一下吧：modelscope.cn/studios/LLM…
通常情况下，每条信息都会有一个角色（role）和内容（content）：
- 系统角色（system）用来向语言模型传达开发者定义好的核心指令，优先级是最高的。
- 用户角色（user）则代表着用户自己输入或者产生出来的信息。
- 助手角色（assistant）则是由语言模型自动生成并回复出来。
系统指令（system）
system message系统指令为用户提供了一个易组织、上下文稳定的控制AI助手行为的方式，可以从多种角度定制属于你自己的AI助手。系统指令允许用户在一定范围内规定LLM的风格和任务，使其更具可定性和适应各种用例。大部分LLM模型的系统指令System message的权重强化高于人工输入的prompt，并在多轮对话中保持稳定，您可以使用系统消息来描述助手的个性，定义模型应该回答和不应该回答的内容，以及定义模型响应的格式。
默认的System message：You are a helpful assistant.
下面是一些system message的使用示例：
| 行业 | 角色 | system message |
|---|---|---|
| 教育 | 数学老师 | 你是一名优秀的数学老师，教导学生学习数学，经常使用简单通俗的生活例子使复杂的数学概念变得更容易理解。 |
| 工作 | python工程师 | 你是一名行业顶尖的Python开发工程师，会使用详细步骤和代码帮助公司和同事解决项目开发过程中的问题。 |
| 创作 | 小红书文案 | 你是一名优秀的小红书文案创作者，擅长使用诙谐风格来创作，经常会在创作中分享生活经验和工作经验。 |
System message可以被广泛应用在：角色扮演、语言风格、任务设定、限定回答范围。
用户指令（user）
用户指令是最常用的提示组件，主要功能是向模型说明要执行的操作。以下举例：
| 指令类型 | prompt |
|---|---|
| 简单指令 | 简要介绍一下xx公司。 |
| 详细指令 | 简要介绍一下xx公司，并介绍它的公司创始人，主营业务，使命和愿景。 |
