论文笔记--DistillingtheKnowledgeinaNeuralNetwork1.文章简介2.文章概括3文章重点技术3.1SoftTarget3.2蒸馏Distillation4.文章亮点5.原文传送门1.文章简介标题:DistillingtheKnowledgeinaNeuralNetwork作者:Hinton,Geoffrey,OriolVinyals,JeffDean日期:2015期刊:arxiv2.文章概括 文章提出了一种将大模型压缩的新的思路:蒸馏distillation。通过蒸馏,可以将很大的模型压缩为轻量级的模型,从而提升推理阶段的速率。3文章重点技术3.1SoftT