简洁性——能用简单方法解决的问题,就不要增加复杂性。例如,如果提示词(prompt)有效,那就直接用,而不是额外训练一个独立的模型。避免不必要的技术复杂度(比如 LoRA)。理想情况下,我们应该有一个通用的模型,只需通过不同的提示词来适应各种用途。

小规模快速迭代——我们需要大量想法,并能快速验证。最好的方式是从小规模实验开始,逐步扩大,并希望在大规模上看到越来越明显的优势。这是一种有效的验证方式。如果一开始就盲目投入大规模开发,往往会陷入微调评测指标、过度拟合、调整检查点等问题。我们需要的是能够真正扩展的突破性成果。
展开
简放视野于2025-03-04 10:39发布的图片
评论