模型就像一个容器,训练数据中蕴含的知识就像是要装进容器里的水。当数据知识量(水量)超过模型所能建模的范围时(容器的容积),加再多的数据也不能提升效果(水再多也装不进容器),因为模型的表达空间有限(容器容积有限),就会造成underfitting;而当模型的参数量大于已有知识所需要的表达空间时(容积大于水量,水装不满容器),就会造成overfitting,即模型的variance会增大(想象一下摇晃半满的容器,里面水的形状是不稳定的)。
【经典简读】知识蒸馏(Knowledge Distillation) 经典之作-3.jpg (92.07 KB, 下载次数: 0)
下载附件 保存到相册
2022-5-4 17:57 上传
【经典简读】知识蒸馏(Knowledge Distillation) 经典之作-4.jpg (7.32 KB, 下载次数: 0)
【经典简读】知识蒸馏(Knowledge Distillation) 经典之作-5.jpg (34.32 KB, 下载次数: 0)
【经典简读】知识蒸馏(Knowledge Distillation) 经典之作-6.jpg (77.63 KB, 下载次数: 0)
【经典简读】知识蒸馏(Knowledge Distillation) 经典之作-9.jpg (134.86 KB, 下载次数: 0)
【经典简读】知识蒸馏(Knowledge Distillation) 经典之作-46.jpg (7.56 KB, 下载次数: 0)
使用道具 举报
本版积分规则 发表回复 回帖并转播 回帖后跳转到最后一页
0关注
6粉丝
458帖子
扫一扫用手机访问