模块一:大模型工作原理与随机性本质

0 阅读3分钟

1. 核心原理:大模型是“超级文本预测机”

1.1 概率预测机制(初学者类比)

想象大模型是玩文字接龙的高手

  • 当你输入:“今天天气...”

  • 模型会基于海量文本训练经验,预测接龙词的概率分布:

    • “晴朗” → 68%(最常见)
    • “糟糕” → 25%
    • “适合野餐” → 7%
  • 最终输出通过概率采样生成结果(详见下文调控方法)[[1]2MD

1.2 知识存储的真相

  • 并非百科全书:模型不存储固定知识,而是通过训练数据学习语言规律和关联模式(如“新冠病毒”常与“疫情”“疫苗”关联)。

  • 知识时效性缺陷

    markdown
    复制
    输入:2025年世界杯冠军是?
    错误输出:阿根廷(训练数据截止2024年)  
    解决方案:需通过RAG技术接入实时数据库[[1][2]()。
    

2. 随机性的本质:可控的双刃剑

2.1 随机性来源(3层理解)

层级说明类比
预测多样性同一输入可能有多个合理答案多人续写同一故事结局不同
采样策略差异参数设置改变输出选择方式抽奖箱规则决定中奖概率
模型训练波动训练数据的随机性影响输出偏好不同老师教出不同风格学生

2.2 关键调控参数

温度(Temperature) :控制输出的“创意值”

低温(0-0.3):严谨模式 → 输出最高概率结果(法律文书/代码生成)  
高温(0.7-1.5):脑洞模式 → 允许低概率词出现(写诗/广告创意)[[1][2]()  

Top-P(核心采样法) :动态控制候选词范围

python
复制
# 当设定 Top-P=0.9 时:  
候选词概率排序:A(60%) + B(25%) + C(10%) = 95% → 仅从A/B/C中采样  
# 若设 Top-P=0.8:则仅采样AB(累计85%[[1][2]()  

2.3 经典案例对比(温度值影响实测)

输入提示temp=0.2 输出temp=1.0 输出
“写一句咖啡广告语”“醇香浓郁,唤醒每一天活力”“银河坠落杯中的浪漫,让晨光为你停留”
适用场景产品说明书文艺咖啡馆文案

3. 初学者避坑指南

3.1 随机性失控的3大征兆
① 答非所问:输入“比较iOS和安卓系统”,输出“苹果营养价值更高”
→ 解法:用<task>标签明确任务边界(例:<task>仅对比手机操作系统特性</task>
② 循环重复:输出“这是一个重要问题...这是一个重要问题...”
→ 解法:降低Temperature至0.3以下,或启用Top-K=40限制候选词数量 ③ 信息幻觉:虚构不存在的论文(如“哈佛2025年研究显示...”)
→ 解法:添加约束指令(“仅使用已知事实,未确认信息标注[待查证]”)

3.2 参数配置速查表

任务类型推荐参数附加提示词技巧
数学计算temp=0, top_p=0.8追加“逐步推理并框出最终答案”
多轮对话temp=0.6, top_k=50首轮设定<role>标签(例:专业顾问)
头脑风暴temp=1.2, top_p=0.95要求“生成5个差异化的方案”

4. 初学者实战练习

任务1:控制随机性

输入提示:
“用temp=0.3temp=1.0分别为幼儿园编写防溺水标语,观察差异”
思考题:哪种温度更适合此场景?为什么?

任务2:修复错误输出

问题输入:
“列举3种健身方法” → 错误输出:重复“跑步是最好的运动...”
你的调优方案
① 添加参数:_________
② 增加提示词约束:<rule>_________</rule>

💡 答案参考
① 设temperature=0top_k=30
② 添加<rule>禁止重复短语,每种方法用不同动词描述</rule>[[1]2MD


模块总结

核心认知
“大模型的随机性如同水流——
完全放任会泛滥成灾(输出失控),
过度约束则枯竭停滞(丧失创意),
精准的提示词和参数就是治水的堤坝与阀门。”