前言
知识蒸馏(Knowledge Distillation)是由 Hinton 等人在 2015 年提出来的,主要是用一个复杂的教师模型去指导一个简单的学生模型训练,这样能让学生模型在保持高精度的同时,还能减少计算量。本文便是讲解如何针对YOLOv11的原始模型以及改进后的模型进行知识蒸馏,轻松实现无损涨点。
| 模型 | Precision | Recall | mAP50 | mAP50-95 |
|---|---|---|---|---|
| YOLOv11n | 85.8 | 82.6 | 89.4 | 54.2 |
| YOLOv11n蒸馏 | 88.0 | 84.5 | 91.3 | 56.3 |
专栏目录:YOLOv11改进目录一览 | 涉及卷积层、轻量化、注意力、损失函数、Backbone、SPPF、Neck、检测头等全方位改进
文章目录
一、知识蒸馏(Knowledge Distillation)
知识蒸馏的核心在于利用已训练好的复杂模型(教师模型)去指导一个更简单的模型(学生模型)进行训练,以此让学生模型在保留较高精度的同时,降低计算成本。
这里所说的 “知识”,不只是硬标签(像类别 0、1、2),还包含教师模型输出的概率分布(软标签)以及中间层的特征信息。
1.1 特征蒸馏(Feature Distillation)
特征蒸馏(Feature Distillation)是知识蒸馏的一种形式,它主要关注的是教师模型中间层的特征图。通过让学生模型去学习这些特征,学生模型就能更好地提取关键信息,而不只是单纯去拟合最终的分类结果。
- 核心思路:
- 特征模仿:通过约束学生模型的特征图与教师模型的特征图相似,比如使用均方误差(MSE)或者余弦相似度来进行约束。
- 分层匹配:在不同的网络层级(像卷积层、池化层)都进行特征匹配,从而实现从局部到全局的知识迁移。
就像在图像分类里,教师模型卷积层输出的特征图可能包含了纹理、形状等信息,学生模型通过模仿这些特征,能提高自己的泛化能力。
订阅专栏 解锁全文
1648



被折叠的 条评论
为什么被折叠?



