多模态学习方法综述

陈鹏^1,2，李擎^2,1，张德政^3,4，杨宇航¹，蔡铮¹，陆子怡¹

1. 北京科技大学自动化学院2. 工业过程知识自动化教育部重点实验室3. 北京科技大学计算机与通信工程学院4. 材料领域知识工程北京市重点实验室

摘 要：大数据是多源异构的.在信息技术飞速发展的今天,多模态数据已成为近来数据资源的主要形式.研究多模态学习方法,赋予计算机理解多源异构海量数据的能力具有重要价值.本文归纳了多模态的定义与多模态学习的基本任务,介绍了多模态学习的认知机理与发展过程.在此基础上,重点综述了多模态统计学习方法与深度学习方法.此外,本文系统归纳了近两年较为新颖的基于对抗学习的跨模态匹配与生成技术.本文总结了多模态学习的主要形式,并对未来可能的研究方向进行思考与展望.

关键词：多模态学习;统计学习;深度学习;对抗学习;特征表示;