一种大规模小波神经网络的拟牛顿学习算法
来源期刊:昆明理工大学学报(自然科学版)2013年第6期
论文作者:甘旭升 端木京顺 高建国
文章页码:54 - 60
关键词:小波;神经网络;无约束最优化问题;拟牛顿算法;Wolfe线搜索;
摘 要:为解决大规模小波神经网络的优化问题,提出了一种快速的拟牛顿学习算法,即使用改进Wolfe线搜索的仅存储梯度向量拟牛顿算法.该算法每次迭代中最多计算两次梯度,并且计算中仅需存储递度向量,避开了近似Hessian矩阵的存储问题,从而大大降低了计算量和存储需求.仿真验证了算法的有效性和可行性.
甘旭升1,端木京顺2,高建国2
1. 西京学院基础部2. 空军工程大学装备管理与安全工程学院
摘 要:为解决大规模小波神经网络的优化问题,提出了一种快速的拟牛顿学习算法,即使用改进Wolfe线搜索的仅存储梯度向量拟牛顿算法.该算法每次迭代中最多计算两次梯度,并且计算中仅需存储递度向量,避开了近似Hessian矩阵的存储问题,从而大大降低了计算量和存储需求.仿真验证了算法的有效性和可行性.
关键词:小波;神经网络;无约束最优化问题;拟牛顿算法;Wolfe线搜索;