基于强化学习的工控系统恶意软件行为检测方法

高洋¹，王礼伟^2,3,4，任望¹，谢丰¹，莫晓锋^2,3,4，罗熊^2,3,4，王卫苹^2,3,4，杨玺⁵

1. 中国信息安全测评中心2. 北京科技大学计算机与通信工程学院3. 北京科技大学人工智能研究院4. 材料领域知识工程北京市重点实验室5. 北京市智能物流系统协同创新中心

摘 要：网络环境下的恶意软件严重威胁着工控系统的安全,随着目前恶意软件变种的逐渐增多,给工控系统恶意软件的检测和安全防护带来了巨大的挑战.现有的检测方法存在着自适应检测识别的智能化程度不高等局限性.针对此问题,围绕威胁工控系统网络安全的恶意软件对象,本文通过结合利用强化学习这一高级的机器学习算法,设计了一个检测应用方法框架.在实现过程中,根据恶意软件行为检测的实际需求,充分结合强化学习的序列决策和动态反馈学习等智能特征,详细讨论并设计了其中的特征提取网络、策略网络和分类网络等关键应用模块.基于恶意软件实际测试数据集进行的应用实验验证了本文方法的有效性,可为一般恶意软件行为检测提供一种智能化的决策辅助手段.

关键词：恶意软件;检测方法;强化学习;特征提取;策略网络;