GXL

知识蒸馏是一种模型压缩与迁移学习技术。它通过训练一个"学生模型"（Student）去模仿一个已经训练好的"教师模型"（Teacher）的输出，从而使学生模型在保持较低复杂度的同时获得较强的性能。