简介概要

基于SDAE和随机森林的铝电解槽阳极效应预测方法研究

来源期刊：稀有金属2021年第4期

论文作者：尹刚陈根何文何飞罗斌唐勇

文章页码：428 - 436

关键词：铝电解;故障诊断预测;阳极效应;深度学习;随机森林;

摘要：阳极效应故障是铝电解生产过程中最为常见的故障现象,阳极效应的发生会降低电解效率,极大增加能耗,同时对环境和设备均有危害,而铝电解生产环境恶劣,槽况参数繁多,各种因素交叉影响,使得阳极效应预测成为铝电解行业的重点研究问题。本文结合铝电解槽槽况数据大数据量、复杂多维、非线性等特征,提出了一种基于深度学习的阳极效应预测模型,构建了堆叠降噪自动编码器,直接从海量原始数据中挖掘关键故障特征信息。同时利用随机森林依据提取后的关键特征进行样本分类预测,能有效地解决阳极效应预测中存在的样本分布不均衡问题,提高了模型的鲁棒性和泛化性。同时在模型的优化上,采用Adam优化算法,相比于传统的优化算法,其在非稳态和在线问题上有很好的表现,大幅提高了模型运行效率。采用mini-batch梯度下降法,有效解决了每个隐含层都会出现covariate-shift问题,并在此过程中通过梯度检验来对模型的反向传播过程进行校准。最后对该阳极效应预测模型进行性能验证,实验表明,该模型效应预测准确率和F1分数分别达到96.78%和0.9501。提前预报时间可达30 min。

稀有金属 2021,45(04),428-436 DOI:10.13373/j.cnki.cjrm.XY20100007

基于SDAE和随机森林的铝电解槽阳极效应预测方法研究

尹刚陈根何文何飞罗斌唐勇

重庆大学资源与安全学院煤矿灾害动力学与控制国家重点实验室

眉山市博眉启明星铝业有限公司

遵义铝业有限公司

四川省四维环保设备有限公司

摘要：

阳极效应故障是铝电解生产过程中最为常见的故障现象，阳极效应的发生会降低电解效率，极大增加能耗，同时对环境和设备均有危害，而铝电解生产环境恶劣，槽况参数繁多，各种因素交叉影响，使得阳极效应预测成为铝电解行业的重点研究问题。本文结合铝电解槽槽况数据大数据量、复杂多维、非线性等特征，提出了一种基于深度学习的阳极效应预测模型，构建了堆叠降噪自动编码器，直接从海量原始数据中挖掘关键故障特征信息。同时利用随机森林依据提取后的关键特征进行样本分类预测，能有效地解决阳极效应预测中存在的样本分布不均衡问题，提高了模型的鲁棒性和泛化性。同时在模型的优化上，采用Adam优化算法，相比于传统的优化算法，其在非稳态和在线问题上有很好的表现，大幅提高了模型运行效率。采用mini-batch梯度下降法，有效解决了每个隐含层都会出现covariate-shift问题，并在此过程中通过梯度检验来对模型的反向传播过程进行校准。最后对该阳极效应预测模型进行性能验证，实验表明，该模型效应预测准确率和F1分数分别达到96.78%和0.9501。提前预报时间可达30 min。

关键词：

铝电解;故障诊断预测;阳极效应;深度学习;随机森林;

中图分类号： TF821

作者简介：尹刚（1964-），男，重庆人，博士，教授，研究方向：铝电解冶炼检测监控技术、安全控制技术、故障识别与诊断、机器学习、复杂系统安全与控制，电话：023-65104511,E-mail:yk115@cqu.edu.cn;

收稿日期：2020-10-09

基金：国家自然科学基金面上项目（51374268）资助;

A Method for Anode Effect Prediction of Aluminium Electrolysis Cell Based on SDAE and Random Forest

Yin Gang Chen Gen He Wen He Fei Luo Bin Tang Yong

State Key Laboratory of Coal Mine Disaster Dynamics and Control,College of Resource and Safety Engineering,Chongqing University

Bomei Qimingxing Aluminum Co.,Ltd.

Zunyi Aluminum Co.,Ltd.

Sichuan Siwei Environmental Protection Equipment Co.,Ltd.

Abstract：

The anode effect failure was the most common failure phenomenon in the aluminium electrolysis production process. The occurrence of the anode effect would reduce the electrolysis efficiency and greatly increase the energy consumption. The aluminium electrolysis production environment was harsh and the cell conditions were various,the cross-influence of various factors made the prediction of anode effect a key research issue in the aluminium electrolysis industry. At present,the actual production process of the aluminium electrolysis industry only predicted the anode effect based on the single factor of voltage change. However,most of the current academic research on the anode effect prediction method only considered part of cell condition parameters and ignored some key effect characteristic information,and relying on pre-processing based on expert experience reduced the versatility and flexibility of the method. This paper considered the characteristics of large data volume,complex multi-dimensional,and nonlinear characteristics of aluminium electrolysis cell condition data. A deep learning-based anode effect prediction model was proposed,and a stacked denoising auto encoder was built to process a large number of cell condition parameters that could reflect the state of the electrolysis cell. In order to make the hidden layer output features sparser and more robust,the loss function used in this paper included input and output mean square error constraints,weight attenuation constraints and the sparsity constraint had three parts. At the same time,random forest was used for sample classification prediction based on the extracted key features. Due to the characteristics of randomly selected features,random forest could reduce the dependence of feature selection,and had strong adaptability to data,which made overfitting not easy to happen in the process of machine learning and effectively solved the problem of uneven sample distribution in anode effect prediction,and improved the robustness and generalization of the model. Compared with the traditional optimization algorithm,the algorithm calculated the exponential moving average of the gradient and controlledthe attenuation rate of the moving average through two hyperparameters beta1 and beta2. It had good performance on non-steady state and online problems,greatly improving the efficiency of model operation. During the training process of the deep learning model,each hidden layer would have a covariate-shift problem,which was,the input distribution of each hidden layer was constantly changing,and the overall distribution gradually approached the upper and lower limits of the value interval of the nonlinear function,causing the gradient to disappear in the back propagation process. The mini-batch gradient descent method was adopted,and the sample size of each mini-batch was set to 64,which effectively solved the covariate-shift problem of each hidden layer,and in this process,the model was backpropagated by gradient test,which made the process calibrated. In order to determine the best predicting time,this paper studied the sample data collected in 30,60,90,120,150,180 min before the anode effect,and conducted experimental tests on it. Finally,this article verified the performance of the anode effect prediction model,used the reserved sample test set to test the model prediction results,and the predicting time,the key indicator of model performance,and was verified through experimental settings. This paper also adopted F1 score as the evaluation index of the classification model. The experiment showed that prediction accuracy rate and F1 scores of the model reached 96.78%and 0.9501 respectively. The predicting time could reach 30 min in advance. Compared with GRNN network and BP neural network model,its accuracy and F1 score had been improved by 5.7% and 10.8% respectively.

Keyword：

aluminium electrolysis; fault diagnosis and prediction; anode effect; deep learning; random forest;

Received： 2020-10-09

在铝电解生产过程中，阳极效应的发生将会在短时间内使得电压急剧上升，降低了铝电解电流效率的同时，增加了吨铝能耗，并且缩短电解槽寿命，严重的还会造成设备损坏，同时在此过程中产生的有害气体对环境造成污染。因此对阳极效应进行提前且准确的预报具有重要意义，而铝电解生产环境复杂，多种因素交叉影响，且铝电解槽槽况参数种类繁多，使得阳极效应预报极为困难 ^[1,2,3] 。在实际生产过程中，目前对阳极效应的诊断预测只能凭借电压这一单一参数，其预测准确率及预报提前量均有待提高。近年来国内外学者对阳极效应预测的研究成果基于数据驱动方法的较多 ^[4,5] 。Chen等 ^[6] 将电阻斜率和电阻累计斜率的变化趋势以及通过相似搜索技术获得的有用知识作为评判阳极效应发生可信度的主要指标，将物料累计偏差作为辅助评判标准，以此来判断阳极效应是否发生，Zhou等 ^[7] 结合了支持向量机和K最邻近算法，从实时生产数据中提取样本，结果显示，该混合方法预测精度达到89%,Pan等 ^[8] 通过修正邻域互信息计算相关参数特征与阳极效应之间的相关性，预先选择出较大相关性的特征再利用轻量梯度提升机算法对其进行分类，李翘楚等 ^[9] 使用改进的交叉熵算法与支持向量机的组合优化算法，通过每次迭代过程中的最优样本，优化了参数更新策略，提高了阳极效应预测准确率，田晔非和翟渊 ^[10] 设计了一种基于广义回归神经网络的阳极效应预测模型，通过实验证实了该模型预测准确度高于传统预测方法，传统阳极效应预测方法存在不完全信息的问题，尹刚等 ^[11] 利用铝电解生产工艺参数具有时序性的特征，建立长短时记忆网络挖掘工艺参数的连续变化趋势与阳极效应之间的联系，最终实现较高的预测精度和提前预报时间，Zhou等 ^[12] 利用奇异值阈值算法对所采集到的样本进行数据填充，再通过极端梯度提升机对阳极效应进行分类。

深度学习作为故障诊断领域的一种新兴方法，相比于浅层神经网络，其强大的特征提取能力和非线性映射能力能更好地表征相关参数与槽况之间复杂的映射关系，减少对专家故障诊断经验和信号处理技术的依赖 ^[13,14] ，在航空发动机、电力变压器、风力发电机组、晶圆片等众多故障诊断领域都有了成功的应用 ^{[15,16,17,18,19,20]} ,Lu等 ^[21] 将堆叠降噪自动编码器用于旋转机械工程系统的健康状态识别，该方法适用于处理含有环境噪声和工况波动的信号，Sun等 ^[22] 利用稀疏自编码算法实现异步电机故障分类问题，其采用具有无监督特征提取优势的稀疏自编码模型来学习故障特征，Jiang等 ^[23] 使用堆叠降噪自动编码器（SDAE），从化学传感器获取的大量原始数据中学习特征表示，实现了对化工过程故障的诊断。可见深度学习非常适合于大数据背景下多样性、非线性、高维监测数据诊断分析需求，但其在铝电解槽阳极效应诊断领域的应用还未见报道。

目前的阳极效应预测方法仅考虑部分槽况参数，忽略了部分关键效应特征信息，同时依赖基于专家经验的预处理，降低了方法的通用性和灵活性，本文将深度学习应用于铝电解槽阳极效应的诊断预测中，构建堆叠自动降噪编码器对海量铝电解槽槽况数据进行关键特征提取，为了解决阳极效应预测过程中存在的样本分布不均匀问题同时提高分类准确率，再利用随机森林对阳极效应进行分类预测，在模型的优化算法上，通过Adam算法、mini-batch和Batch Normalization算法对模型进行优化，引入梯度检验提高模型稳定性，最后对所构建的阳极效应预测模型的关键性能指标、效应提前预报量以及与传统阳极效应预测模型进行对比实验验证。

1 方法理论

1.1 堆叠降噪自动编码器

堆叠降噪自动编码机（SDAE）能有效地提取数据低维特征，其基本单元是降噪自动编码器（DA），由多个DA堆叠而成，其训练方法与DBN相似，对每个DA进行无监督与训练，以最小化输入（输入为前一层的隐含层输出）与重构结果之间的误差为训练目标，然后再进行堆叠。

对于第一个DA，其计算过程为：

式中，y为被噪声污染后的输入数据；X为重构后的输入数据；σ为激活函数。为使隐含层输出特征更加稀疏鲁棒，本文采用的损失函数包含有输入输出均方差约束，权值衰减约束和稀疏性约束3部分，即

式中，m,n,s_l分别为样本数，网络层数和l层单元数，W^(k,l）表示层间链接权重，b_i^(k,l）为l层的单元偏置，为隐含层单元平均输出，λ为权重衰减系数，且

利用梯度下降法进行权重值W和偏置值b的更新：

1.2 随机森林

随机森林通过自助法重采样技术，从原始训练样本集中有放回地重复随机抽取K个样本生成新的样本集合，然后根据自主样本集生产K个决策树组成的随机森林，新数据的分类结果按决策树投票多少形成的分数而定，如图1所示。决策树是一种基于if-then-else规则的有监督学习算法，可将其看作是询问有关数据问题的流程图，并最终导向一个预测类别，其构建方式是构建最大限度降低基尼不纯度的问题，能完美地实现对数据的分类，但同时这个过程极大地增加了过拟合的风险。相比于决策树，随机森林的一大关键是每个决策树都在随机的数据样本上进行训练，尽管每个决策树依据训练数据的某个特定子集可能有较高的方差，但就整体而言，整个随机森林的方差会有效降低，从而实现很好的泛化性。

图1 随机森林分类预测机制

Fig.1 Random forest classification prediction mechanism

1.3 Adam优化算法

本文采用Adam优化算法，相比于传统的优化算法，Adam算法通过计算梯度的一阶矩估计和二阶矩估计而为不同的参数设计独立的自适应性学习率，该算法计算了梯度的指数移动平均值并通过beta1和beta2两个超参数控制移动均值的衰减率，从而在非稳态和在线问题上有很好的表现。

式中，V_dw,V_db,S_dw,S_db为指数加权移动平均数，均初始化为0，β₁，β₂为超参数，分别取值0.9和0.999，同时引入了偏差修正

式中，t为迭代次数，最后对w,b进行更新

式中，ε是为了防止分母为0，一般取10×10^-8，本文在Adam算法中，学习率?取0.001，为了在保证模型精度的基础上提高模型的迭代速度。

2 阳极效应预测模型

2.1 模型框架

本文提出了一种基于堆叠降噪自动编码器的阳极效应预测方法，为了尽可能避免关键特征的遗漏，本文对所有能采集到的原始数据进行初步筛选后直接作为输入，既考虑了铝电解生产过程中长期积累的槽况参数，也包含了能够反映短时生产操作影响详细输入特征参数见表1。其中电解温度、分子比、铝水平、电解质水平等参数通过每天离线采集，这类特征可用于对铝电解槽状态进行预测评价，而对于能实时监测获取的数据如槽电压，采集效应发生前半小时、一小时、两小时的平均电压，利用堆叠降噪自动编码器对这些数据进行关键特征提取，再通过随机森林对其进行分类预测，实现对阳极效应的诊断预测，同时实现对阳极效应提前预报时间的控制。最终建立的模型结构如图2所示。本文模型中涉及到的超参数较多，且深度学习缺少超参数调试的理论指导，本文在大量实验的基础上，以模型在训练集/验证集/测试集中的准确率为粗略衡量模型性能的指标，对模型中的关键性参数进行了确定，模型的整体优化算法采用Adam算法，具体超参数设置如表2所示。

2.2 模型优化

本文所用数据样本量较大，传统Batch梯度下降法迭代速度慢，随机梯度下降法参数更新不稳定，本文采用mini-batch梯度下降法，经过实验，每个mini-batch样本容量设置为64时最为理想，算法细节见算法1，见表3。

图2 基于堆叠降噪自动编码器的阳极效应预测模型

Fig.2 Anode effect prediction model based on stacked denois-ing autoencoder

深度学习模型包含多隐层网络结构，在训练过程中，每个隐含层都会出现covariate-shift问题，即每个隐层的输入分布不断变化，整体分布逐渐往非线性函数的取值区间上下限两端靠近，导致反向传播时出现梯度消失，Batch Normalization(BN）算法可使输入值落入激活函数的线性激活区域，以此避免梯度消失的问题，本文将BN算法引入阳极效应预测模型，有效提升了模型收敛速度，一定程度上提高了模型性能，且降低了模型超参数调试难度。在模型训练过程中：

式中，c⁽ⁱ⁾为模型输出，m为mini-batch的大小，在模型测试过程中，无法对测试集划采用mini-batch来计算均值μ和方差σ²，为了将模型用于测试过程，本文利用指数加权平均来估算测试样本的均值和方差，即通过训练集每个mini-batch的均值和方差，计算出其指数加权移动平均值，以此来替代测试样本中的均值和方差。相比其他均值估计算法，指数加权平均可以直接将数据带入公式，不断覆盖旧数据，极大地减少内存，提高效率。

表1 阳极效应模型输入参数下载原图

Table 1 Input parameters of proposed model

表2 模型超参数设置下载原图

Table 2 Hyperparameters of model

2.3 梯度检验

深度学习模型的训练、验证、预测过程包含大量的计算，无法保证模型在反向传播过程中的所有细节都准确无误，通过梯度检验用来验证模型的反向传播过程是否正确，通过把所有参数转换成一个向量数据，采用双边误差，对梯度做数值逼近，计算其欧几里得范数并进行归一化与设定的误差值相比较。算法细节见算法2，见表4。

2.4 模型评价方法

为了更好的评价、验证模型性能，除了计算训练集、验证集、测试集的预测准确率来衡量模型的性能表现，本文还采取了F1分数来作为分类模型评估指标，它是精确率和召回率的调和平均数，最大值为1，最小值为0。

其中，TP(true positive）表示预测答案正确；FP(false positive）表示错将他类预测为本类；FN(false negative）表示将本类标签预测为其他类标签。最终将求得的各个类别下的F1分数求均值，得到最后的评测结果。

3 实验验证

本文数据来源于某铝业公司。采用X射线荧光光谱仪测定分子比。采用热电偶温度计测得铝电解槽槽内温度并通过人工标记分子比、电解温度等参数相比于前一天的变化量。从铝电解生产线槽控系统中采集加料次数及实时电压数据。实验数据的获取时间为2018年8月1日至2020年10月31日。具体实验设置如表5所示。

3.1 模型性能验证

本文共采集了10567个样本，其中正常样本8438个，效应样本2129个，所有样本均匀分布，按照8∶1∶1的比例分为训练集、验证集和测试集，首先将训练集用于模型训练，验证集用于模型性能验证，并对模型进行修正，达到了较低的损失和较高的预测准确率。将测试集作为模型的最终的性能评估，其中，测试集样本来源于某铝厂21个槽的数据，其效应系数为0.02，平均效应电压为8.43V，平均效应时间为303 s。部分预测结果如图3所示，在图中71份预测结果中，有3个样本未能准确预测。而模型的所有测试样本整体分类准确率达到96.78%,F1分数达到0.9501。

3.2 不同方法对比

传统阳极效应预测模型都采用基于数据驱动思想的机器学习方法，且模型输入特征参数较少，一定程度上造成了关键特征信息的损失，为了验证基于深度学习的长短时记忆网络模型的性能，本文另外单独构建了BP神经网络模型和广义回归网络（GRNN）模型，对3个模型性能进行对比验证，采用测试集准确率及F1分数作为评估指标，实验结果表明，基于SDAE和随机森林的阳极效应预测模型不论在预测准确率还是在F1分数均远高于传统机器学习模型，如图4所示。同时，为了验证随机森林相比决策树的泛化性能更好，本文构建了堆叠自动降噪编码器-决策树（SDAE-DT）模型，结果显示利用随机森林对阳极效应进行预测分类效果远好于决策树，如图5所示。

表3 算法1 下载原图

Table 3 Algorithm 1

表4 算法2 下载原图

Table 4 Algorthm 2

表5 实验设置下载原图

Table 5 Experimental settings

3.3 效应提前预测时间

为了确定提前预报时间，本文分别研究了效应前30,60,90,120,150,180 min所采集的样本数据，对于实时监测数据，每隔半小时时计算一次平均电压，同样采用预报准确率和F1分数作为评价指标，实验结果如图6所示。可以看出随着预测时间增加，预报准确率及F1分数均随之下降，提前30 min预报能实现较高的预报准确率。

图3 SDAE-RF模型部分预测结果

Fig.3 Partial prediction results of SDAE-RF model

图4 SDAE-RF模型与传统模型性能对比

Fig.4 Performance comparison between SDAE-RF model and traditional models

图5 随机森林与决策树性能对比

Fig.5 Random forest and decision tree performance compari-son

4 讨论与分析

本文研究了基于深度学习方法的堆叠自动降噪编码器模型在阳极效应预测任务上的表现，实验结果表明，相比于传统预测方法，深度学习模型在预测准确率及提前预测时间上的表现更为出色，传统方法在模型调试过程中缺少统一的方法，同时降低模型训练过程中产生的偏差和方差，导致模型预测效果不理想，从而直接影响模型的性能表现，而深度学习方法具有更大的网络结构以及更多的数据，可显著减少模型的调试优化的工作量，并且能很好的平衡偏差和方差问题。此外，堆叠降噪自动编码器能很好地提取阳极效应大量原始参数中的关键特征参数，且利用随机森林对提取出的关键故障特征进行分类，具有很好的泛化性和鲁棒性。因此模型在阳极效应预测任务上具有很好的表现。

图6 预测准确率和F1分数随提前预测时间变化

Fig.6 Forecast accuracy and F1 score change with the time of advance forecast

此外，本文验证了随机森林在阳极效应预测分类任务中的优良表现，相对于决策树，随机森林在运算量没有显著提高的前提下提高了预测精度。同时在处理多维度的特征时，由于随机选取的特点，随机森林可以降低特征选取的依赖性，对数据的适应能力很强，不容易在机器学习的过程中发生过拟合，使它具备很好的泛化能力。

对于效应提前预测时间，本文研究发现，随着预测时间的增加，预测准确率和F1-score都会随之下降，但在Zhou等 ^[12] 采用极端梯度提升算法得到的研究结果中，效应预测准确率随着时间变化先增加后减少，在第10 min达到峰值，而在另一位研究者Pan等 ^[8] 的研究中，预测准确率在50 min内处于稳定波动的状态，维持在90%左右的准确率。这主要因为不同算法所提取的关键特征不同，从而导致数据在不同时间节点与阳极效应的关联性不同。

5 结论

本文将深度学习方法应用到铝电解槽的阳极效应故障诊断中，提出了基于堆叠降噪自动编码和随机森林的阳极效应预测模型，利用大量历史数据对模型进行训练学习，最终模型在阳极效应预测任务上实现效应前30 min预测准确率和F1分数分别达到96.78%和0.9501，相比于传统机器学习预测方法，其准确率和F1分数分别提高了5.7%和10.8%。在提前预测时间上，本文通过对效应发生前不同时间段平均电压的计算，研究了模型在不同预报提前量的预测准确率和F1分数，最终确定模型提前30分钟预报能实现96.78%的准确率。此外，本文在模型调试优化过程中引入了Batch Normalization算法和梯度检验，提高了模型的稳定性和收敛速度。本文验证了深度学习在铝电解阳极效应故障诊断领域应用的可行性和有效性，在此基础上证明了基于堆叠降噪自动编码器-随机森林阳极效应模型相比于传统机器学习方法，其性能表现更好。