文章编号：1004-0609(2010)02-0323-06
基于工艺参数的7005铝合金力学性能的支持向量回归预测
蔡从中，温玉锋，朱星键，裴军芳，王桂莲，肖婷婷
(重庆大学 应用物理系，重庆 400044)
摘 要：
根据7005铝合金在不同工艺参数(挤压温度、挤压速度、淬火方式和时效条件)下的力学性能(抗拉强度σb、屈服强度σ0.2和硬度HB)实测数据集，应用基于粒子群算法(PSO)寻优的支持向量回归(SVR)结合留一交叉验证(LOOCV)的方法，对7005铝合金力学性能进行建模和预测研究，并与偏最小二乘法(PLS)、反向传播人工神经网络(BPNN)和两者结合的PLS-BPNN模型的预测结果进行比较。结果表明：基于SVR-LOOCV法的预测精度最高，对3种力学性能(σb、σ0.2和HB)预测的均方根误差(RMSE)分别为4.531 9 MPa、14.550 8 MPa和HB1.414 2，其平均相对误差(MRE)分别为0.72%、2.61%和0.66%，均比PLS、BPNN和PLS-BPNN方法预测的RMSE和MRE要小。
关键词：
7005铝合金；力学性能；支持向量机；粒子群算法；留一交叉验证法；回归分析；
中图分类号：TP18；TG146.2+1 文献标识码：A
Quantitative prediction of mechanical properties of 7005 Al alloys from processing parameters via support vector regression
CAI Cong-zhong, WEN Yu-feng, ZHU Xing-jian, PEI Jun-fang, WANG Gui-lian, XIAO Ting-ting
(Department of Applied Physics, Chongqing University, Chongqing 400044, China)
Abstract: The support vector regression (SVR) approach based on the particle swarm optimization (PSO) for its parameter optimization, combined with leave-one-out cross validation (LOOCV), was proposed to predict the mechanical properties (tensile strength σb, yield strength σ0.2 and hardness HB) of 7005 Al alloys under different processing parameters including extrusion temperature, extrusion velocity, quenching type and aging time. The results strongly support that the prediction precision of SVR-LOOCV method is superior to those of partial least squares (PLS), back-propagation neural networks (BPNN) and their combination PLS-BPNN model by applying the identical dataset. The root mean square errors (RMSE) for σb, σ0.2 and HB achieved by SVR-LOOCV are 4.531 9 MPa, 14.550 8 MPa and HB 1.414 2, respectively, and their mean relative errors (MRE) are 0.72%, 2.61% and 0.66%, respectively, which are less than those predicted by PLS, BPNN or PLS-BPNN approach.
Key words: 7005 Al alloys; mechanical properties; support vector machines; particle swarm optimization; leave-one-out cross validation; regression analysis
7005铝合金是Al-Zn-Mg合金系列中的一种中高强度合金。该合金不仅具有密度小、无磁性、散热效果好等特点，而且具有相当高的强度、断裂韧性，还呈现出良好的抗腐蚀性、可焊性、热稳定性和机械加工性能。目前，7005铝合金作为一种结构材料被广泛地应用于运输工具、桥梁、升降机、液压设备等领域。抗拉强度、屈服强度和硬度是铝合金材料力学性能的3个主要参数，而力学性能是铝合金的一个极其重要支持向量机(Support vector machine，简称SVM)是由VAPNIK等[2]和HUANG[3]等提出的一种基于结构风险最小化的统计学习方法。该方法可用于分类和回归分析，已被成功地应用于很多实际领域，如文本分类及手写体数字识别[2, 4]、语音识别[5]、商业时序预报[6]、水文预报[7]、地球空间物理及实验高能物理数据分析与处理[8]、计算机辅助药物设计[9]、蛋白质结构和功能预测[10?12]、材料性能预测[13?14]等。本文作者利用文献[1]报道的7005铝合金在不同的挤压淬火工艺和随后的时效工艺下的力学性能实验数据集，应用基于粒子群(Particle swarm optimization，PSO)算法进行参数寻优的支持向量回归(Support vector regression，SVR)方法，结合留一交叉验证法(Leave-one-out cross validation，LOOCV)，对不同加工工艺参数下的7005铝合金的力学性能进行建模和预测研究，并与文献[1]中应用PLS、BPNN以及PLS-BPNN的预测结果进行比较。
1 SVR方法简介
1.1 SVR原理
设样本集为(x1，y1)，…，(xm，ym)，寻找一个输入空间到输出空间的非线性映射Φ，通过该映射，将样本集中的数据x映射到高维空间F，并在特征空间F中用下述函数进行线性回归：
式中：m表示训练样本个数，Lε(f(xi)?yi)是损失函数，C是惩罚因子，ε是误差。
为控制函数的复杂性，应使线性回归函数尽量平坦，并考虑可能超出精度ε的回归误差，引入松弛因子ξ和ξ*，以处理不满足式(3)的数据点。根据统计学习理论的结构风险最小化准则，SVR通过极小化目标函数R(w，ξi，ξi*)来确定式(1)中的w和b：
式(4)中，第一项是使回归函数更为平坦，泛化能力更好，第二项则为减少误差，惩罚因子C是一个常数，且C＞0，用来控制对超出误差ε的样本的惩罚程度。为求解w和b，建立拉格朗日方程：
由此，SVR的函数回归就可以归结为求解二次规划问题式(7)，从而可得到用训练样本点表示的w：
式中：αi和αi*是最小化R(w，ξi，ξi*)的解。由此可求得线性回归函数：
式中：k(x，xi)=Ф(x)·Ф(xi)为核函数。选择不同形式的核函数就可以生成不同的SVR回归模型。常用的核函数有：径向基函数、多项式核函数、Sigmoid核函数、线性核函数等。本文采用径向基函数来建立SVR模型。
1.2 SVR回归参数的PSO算法寻优
PSO是于1995年由KENNEDY和EBERHART[15]模拟鸟群的飞行捕食行为而提出的一种高效多维并行寻优算法。由于SVR回归模型的泛化性能依赖于误差ε、误差惩罚因子C和核函数参数γ等3个参数，因此，对(ε，С，γ)参数进行寻优显得十分关键。本研究采用PSO算法来寻找参数(ε，С，γ) 的最优值，即采用速度?位置搜索模型来寻找最优参数。设群体中的每个粒子由3维参数向量(ε，С，γ)组成，第i个粒子在3维解空间的位置为ui=(ui1，ui2，ui3)T，其速度为vi=(vi1，vi2，vi3)T，当前时刻的个体极值记为pibest，全局极值记为gbest。在每次迭代中，粒子跟踪个体极值、全局极值和自己前一时刻的状态来调整当前时刻的位置和速度，迭代公式如下[16]：
式中：v(t)、v(t+1)、u(t)和u(t+1)分别是粒子在当前时刻、下一时刻的速度和位置；rand()是[0，1]之间的随机数；c1和c2是学习因子，通常取为2；ω是权重因子，为加快收敛速度，其值应随算法迭代的进行而自动调节，一般定义为
式中：ωmax和ωmin?分别为最大和最小权重因子，N为当前迭代次数，Nmax为总的迭代次数，且ωmax和ωmin的值一般取为0.9和0.4。为了直接反映SVR模型的回归性能，选用均方根误差(RMSE)作为适应度函数：
式中：m是训练样本数，yi和
分别是第i个训练样本目标量的实测值和预测值。
2 SVR回归模型的建立
2.1 不同加工工艺参数下的7005铝合金力学性能实测数据集
本研究所用数据(见表1)来源于文献[1]。方善锋等[1]针对26个Al3.24Zn1.7Mg0.32Fe合金样本，采用正交实验设计方法，测量在不同的挤压温度、挤压速度、淬火方式和时效条件等4个加工工艺参数下合金的抗拉强度σb、屈服强度σ0.2和硬度HB值，由此得到该数据集。文献[1]利用PLS、BPNN以及PLS-BPNN，采用LOOCV法对不同工艺参数下合金的σb、σ0.2和HB值进行预测和对比研究。
表1 不同加工工艺参数下的7005铝合金力学性能实测值[1]
Table 1 Experimental data of mechanical properties of 7005 Al alloy under different processing parameters
2.2 模型的建立
为便于与文献[1]中的PLS、BPNN以及PLS-BPNN方法的预测效果进行直接比较，本研究应用SVR结合LOOCV法对数据集中的26个样本进行了建模训练与预测研究，即以挤压温度、挤压速度、淬火方式和时效条件等4个参数为输入变量，以合金的σb、σ0.2和HB为输出变量，依序每次取出1个样本为测试样本，其余样本为训练样本，以这种方式进行26次的SVR建模和预测。
2.3 模型预测性能的评价
采用平均相对误差(MRE)、均方根误差(RMSE)和相关系数(R2)对所建模型的预测性能进行评价。其中，MRE和R2分别定义如下：
式中：n是检验样本数，yj和分别是第j个检验样本的目标值和预测值，
是检验样本的目标平均值。
表2所列为应用SVR-LOOCV对7005铝合金力学性能数据集的预测结果及其相对误差。为了便于直接比较，表2中同时还列出了文献[1]中PLS-BPNN的LOOCV的预测结果及相对误差。表3所列为PLS，、BPNN、PLS-BPNN和SVR的预测性能的统计结果。
表2 7005铝合金力学性能实验值与用LOOCV法的PLS-BPNN和SVR模型预测结果
Table 2 Measured values and predicted results of mechanical properties of 7005 Al alloys using PLS-BPNN and SVR models via LOOCV
由表2可见，SVR-LOOCV对合金的σb、σ0.2和HB的预测结果中，绝大多数样本(24/26=92.31%、20/26=76.92%和24/26=92.31%)预测结果的相对误差均小于3%，而对于同样应用LOOCV的PLS、BPNN和PLS-BPNN等3种模型中预测效果最好的PLS-BPNN，其预测的相对误差不超出3%的样本数分别只有22、9和20，均低于SVR-LOOCV的预测结果；SVR-LOOCV法预测结果中，相对/绝对误差为0的样本数分别达到了18、13和20，而基于LOOCV的PLS-BPNN预测的相对/绝对误差为0的样本数分别只有1、2和5个，远不及SVR-LOOCV法预测效果。
由表3可见，对于PLS、BPNN、PLS-BPNN和SVR等4种不同的回归预测方法，预测能力依次增强。7005铝合金的3种力学性能(σb、σ0.2和HB)经SVR预测的均方根误差(RMSE)和平均相对误差(MRE)，分别为4.531 9 MPa、14.550 8 MPa和HB1.414 2以及0.7225%、2.6070%和0.6561%，与PLS、BPNN和PLS-BPNN法的预测结果相比，均为最小。这表明：SVR-LOOCV法的预测精度比其它3种方法的要高， 其泛化性能最强。此外，除了σ0.2预测结果的相关系数(0.563 7)比PLS-BPNN的0.788 1小之外，其它两种力学性能的相关系数(0.964 8，0.958 8)均比PLS-BPNN (0.903 8，0.833 5)的大。
表3 PLS、BPNN、PLS-BPNN和SVR的LOOCV预测性能比较
Table 3 Comparison of prediction performances among PLS, BPNN, PLS-BPNN and SVR using LOOCV
以上结果表明SVR模型的预测能力比PLS、BPNN和PLS-BPNN的要强。
4 结论
1) SVR-LOOCV的预测性能最优，其预测的均方根误差和平均相对误差均为最小。
2) SVR是一种预测7005铝合金力学性能的有效方法，该方法为更加准确地预测不同工艺参数下铝合金的力学性能提供了一种新的有效途径。
3) 在研制各种高性能合金材料时，SVR只需通过少量的实验数据进行建模，可为相关实验提供工艺参数的理论优化设计。
[1] 方善锋, 汪明朴, 王正安, 齐卫宏, 李 周. PLS-BPN 法用于 7005 铝合金力学性能与工艺参数的定量研究[J]. 中国有色金属学报, 2007, 17(12): 1948?1954.
FANG Shan-feng, WANG Ming-pu, WANG Zheng-an, QI Wei-hong, LI Zhou. Quantitative study between mechanical properties and processing parameters for 7005Al alloys predicted using PLS-BPN method[J]. The Chinese Journal of Nonferrous Metals, 2007, 17(12): 1948?1954.
[2] VAPNIK V. The nature of statistical learning theory[M]. New York: Springer, 1995.
[3] HUANG C, DAVIS L S, TOWNSHEND J R G. An assessment of support vector machines for land cover classification[J]. International Journal of Remote Sensing, 2002, 23(4): 725?749.
[4] KIM K I, JUNG K, PARK S H, KIM H J. Support vector machine-based text detection in digital video[J]. Pattern Recognition, 2001, 34(2), 527?529.
[5] THUBTHONG N, KIJSIRIKUL B. Support vector machines for Thai phoneme recognition[J]. International Journal of Uncertainty Fuzziness and Knowledge-Based Systems, 2001, 9(6): 803?813.
[6] TAY F E H, CAO L J. Epsilon-descending support vector machines for financial time series forecasting[J]. Neural Processing Letters, 2002, 15(2): 179?195.
[7] LIONG S Y, SIVAPRAGASAM C. Flood stage forecasting with support vector machines[J]. Journal of the American Water Resources Association, 2002, 38(1): 173?186.
[8] GAVRISHCHAKA V V, GANGULI S B. Support vector machines as an efficient tool for high-dimensional data processing: Application to sub-storm forecasting[J]. Journal of Geophysical Research-Space Physics, 2001, 106(A12): 29911?29914.
[9] BURBIDGE R, TROTTER M, BUXTON B, HOLDEN S. Drug design by machine learning: Support vector machines for pharmaceutical data analysis[J]. Computers and Chemistry, 2001, 26(1): 5?14.
[10] CAI C Z, HAN L Y, JI Z L, CHEN Y Z. Enzyme family classification by support vector machines[J]. Proteins, 2004, 55(1): 66-76.
[11] HUA S J, SUN Z R. A novel method of protein secondary structure prediction with high segment overlap measure: support vector machine approach[J]. Journal of Molecular Biology, 2001, 308(2): 397?407.
[12] CAI C Z, HAN L Y, JI Z L, CHEN X, CHEN Y Z. SVM-Prot: Web based support vector machine software for functional classification of a protein from its primary sequence[J]. Nucleic Acids Research, 2003, 31(13): 3692?3697.
[13] WEN Y F, CAI C Z, LIU X H, PEI J F, ZHU X J, XIAO T T. Corrosion rate prediction of 3C steel under different seawater environment based on support vector regression[J]. Corrosion Science, 2009, 51(2): 349?355.
[14] 温玉锋, 蔡从中, 裴军芳, 朱星键, 肖婷婷. R2O-MO-Al2O3- SiO2玻璃配方与热膨胀系数关系的支持向量回归研究[J]. 功能材料, 2009, 40(1): 66?70.
WEN Yu-feng, CAI Cong-zhong, PEI Jun-fang, ZHU Xing-jian, XIAO Ting-ting. Study on the relationship between thermal expansion coefficient and oxide composition of R2O-MO-Al2O3- SiO2 system glass via support vector regression approach[J]. Journal of Functional Materials, 2009, 40(1): 66?70.
[15] KENNEDY J, EBERHART R. Particle swarm optimization[C]// Proc IEEE Int Conf Neural Networks, 1995: 1942?1948.
[16] YANG Y, CHEN S, YE Z B. Combination of particle-swarm optimization with least-squares support vector machine for FDTD time series forecasting[J]. Microwave and Optical Technology Letters,2006, 48(1): 141?144.
摘 要：根据7005铝合金在不同工艺参数(挤压温度、挤压速度、淬火方式和时效条件)下的力学性能(抗拉强度σb、屈服强度σ0.2和硬度HB)实测数据集，应用基于粒子群算法(PSO)寻优的支持向量回归(SVR)结合留一交叉验证(LOOCV)的方法，对7005铝合金力学性能进行建模和预测研究，并与偏最小二乘法(PLS)、反向传播人工神经网络(BPNN)和两者结合的PLS-BPNN模型的预测结果进行比较。结果表明：基于SVR-LOOCV法的预测精度最高，对3种力学性能(σb、σ0.2和HB)预测的均方根误差(RMSE)分别为4.531 9 MPa、14.550 8 MPa和HB1.414 2，其平均相对误差(MRE)分别为0.72%、2.61%和0.66%，均比PLS、BPNN和PLS-BPNN方法预测的RMSE和MRE要小。
