深度神经网络模型压缩综述

李江昀^1,2，赵义凯^1,2，薛卓尔¹，蔡铮¹，李擎^1,2

1. 北京科技大学自动化学院2. 工业过程知识自动化教育部重点实验室

摘 要：深度神经网络近年在计算机视觉以及自然语言处理等任务上不断刷新已有最好性能,已经成为最受关注的研究方向.深度网络模型虽然性能显著,但由于参数量巨大、存储成本与计算成本过高,仍然难以部署到硬件受限的嵌入式或移动设备上.相关研究发现,基于卷积神经网络的深度模型本身存在参数冗余,模型中存在对最终结果无用的参数,这为深度网络模型压缩提供了理论支持.因此,如何在保证模型精度条件下降低模型大小已经成为热点问题.本文对国内外学者近几年在模型压缩方面所取得的成果与进展进行了分类归纳并对其优缺点进行评价,并探讨了模型压缩目前存在的问题以及未来的发展方向.

关键词：深度神经网络;模型压缩;深度学习;网络剪枝;网络蒸馏;