kd代码实战
3篇文章 · 0订阅
  • 知识蒸馏系列（一）：三类基础蒸馏算法
    0 前言 知识蒸馏（Knowledge Distillation，简记为 KD）是一种经典的模型压缩方法，核心思想是通过引导轻量化的学生模型“模仿”性能更好、结构更复杂的教师模型（或多模型的 ense
    人工智能
  • 从教师到学生：神奇的“知识蒸馏”之旅——原理详解篇
    小伙伴有没有遇到过因深度学习模型太大而导致训练部署困难呢🧐🧐🧐今儿就给大家介绍一个AI领域重要的模型压缩方法——知识蒸馏。它基于“教师-学生网络思想”训练方法，通过师徒传授，将大规模知识传递给轻
    人工智能 计算机视觉 深度学习
    从教师到学生：神奇的“知识蒸馏”之旅——原理详解篇
  • AI精炼术：利用PyTorch实现MNIST数据集上的知识蒸馏
    上期介绍了知识蒸馏的核心原理，一句话概括——将教师模型的知识通过soft targets传递给学生模型。今天就来实战一下，看看教师模型、学生模型是怎样用代码构建的，学习如何用知识蒸馏提高学生模型的性能
    人工智能 深度学习 计算机视觉
    AI精炼术：利用PyTorch实现MNIST数据集上的知识蒸馏