LLM中zero-shot 、few-shot 和fine-tuning的区别

1,109 阅读1分钟
  • 零样本学习(zero-shot learning):是指无需提供任何示例,通过将提示词输入至LLM当中,LLM根据输入直接进行反应
  • 少样本学习(few-shot learning):是指LLM通过提示词中的几个示例就能进行概括并给出有价值的结果,在使用少样本学习技巧时,可以给模型提供几个示例,这些实例可以指导模型输出所需要格式
  • 微调(fine-tuning):是指针对特定任务在一组数据上重新训练现有模型,以提高模型的性能并使用其回答更准确。在微调的过程中,模型的内部权重参数得到更新。

总结:Zero-shot和few-shot都不会更新LLM内部权重,而微调则会更新LLM内部权重