基于Nadam優(yōu)化器的全連接神經(jīng)網(wǎng)絡(luò)在水泥3 d及28 d抗壓強(qiáng)度預(yù)測(cè)中的應(yīng)用實(shí)踐

水泥抗壓強(qiáng)度值是衡量水泥質(zhì)量的一個(gè)重要指標(biāo)，也是確定水泥標(biāo)號(hào)的一個(gè)主要依據(jù)，在實(shí)際的生產(chǎn)過(guò)程中起到重要的作用，它是一個(gè)典型的非線性、多變量、不確定、多時(shí)滯的復(fù)雜系統(tǒng)。目前，國(guó)內(nèi)外學(xué)者對(duì)水泥抗壓強(qiáng)度預(yù)測(cè)進(jìn)行了多方面的研究，崔運(yùn)美通過(guò)線性回歸分析及非線性回歸分析建立了1d抗壓強(qiáng)度和28d抗壓強(qiáng)度模型；張大鵬等通過(guò)多元回歸分析方法建立28d抗壓強(qiáng)度模型；林遠(yuǎn)煌通過(guò)使用BP神經(jīng)網(wǎng)絡(luò)建立了水泥配料各組分摻入量與28d抗壓強(qiáng)度的模型。由于該系統(tǒng)的非線性、多變量、多時(shí)滯等特性，導(dǎo)致傳統(tǒng)的預(yù)測(cè)方法準(zhǔn)確性較差，難以在實(shí)際生產(chǎn)過(guò)程中普遍推廣和應(yīng)用。近些年來(lái)一些研究者將人工智能算法應(yīng)用到了水泥強(qiáng)度預(yù)測(cè)方面，取得了一定的效果。隨著深度學(xué)習(xí)技術(shù)近些年的快速發(fā)展，在非線性回歸分析中得到了較好的效果，針對(duì)以上水泥抗壓強(qiáng)度預(yù)測(cè)存在的問題，本文基于TensorFlow深度學(xué)習(xí)框架，采用Python編程語(yǔ)言，使用Nadam優(yōu)化器的全連接神經(jīng)網(wǎng)絡(luò)深度學(xué)習(xí)算法，實(shí)現(xiàn)了對(duì)水泥3d抗壓強(qiáng)度和28d抗壓強(qiáng)度的預(yù)測(cè)。1、TensorFlow及Keras深度學(xué)習(xí)框架TensorFlow是Google開源的基于數(shù)據(jù)流圖的機(jī)器學(xué)習(xí)框架，支持Python和C++語(yǔ)言。廣泛應(yīng)用在圖像分類、物體檢測(cè)、模型預(yù)測(cè)等領(lǐng)域。Keras是基于TensorFlow和Theano的深度學(xué)習(xí)庫(kù)，包括由Python編寫而成的高級(jí)神經(jīng)網(wǎng)絡(luò)API，使用Keras可以快速實(shí)現(xiàn)對(duì)TensorFlow的再次封裝，大幅減少純粹使用TensorFlow實(shí)現(xiàn)深度學(xué)習(xí)的代碼量。本文中的環(huán)境包括Anaconda及Pycharm，在Anaconda中配置了Python3.7虛擬環(huán)境供Pycharm使用，TensorFlow版本為2.3.0。Pycharm是由JetBrains打造的一款PythonIDE，本文采用Pycharm2020.3，其環(huán)境設(shè)置見圖1。圖1Python虛擬環(huán)境2、特征參數(shù)選取及數(shù)據(jù)預(yù)處理水泥強(qiáng)度的影響因素較多，其主要影響因素有熟料的質(zhì)量、SO3含量、混合材的摻入量及粉磨細(xì)度等。熟料的礦物組成及其結(jié)構(gòu)決定了熟料的質(zhì)量，對(duì)水泥強(qiáng)度的增長(zhǎng)起決定性作用，水泥28d強(qiáng)度基本依賴于C3S的含量，C3S含量高早期強(qiáng)度增長(zhǎng)率高，在28d時(shí)已基本發(fā)揮出最高強(qiáng)度的絕大部分；C2S主要影響水泥后期強(qiáng)度；C3A主要對(duì)1d、3d等早期強(qiáng)度影響大；C4AF對(duì)水泥強(qiáng)度無(wú)較大的影響。因此，合理、穩(wěn)定的礦物組成是確保水泥強(qiáng)度及其增長(zhǎng)率的重要因素。水泥中SO3含量主要來(lái)源于石膏，其含量的變化影響硅酸鹽水泥的水化，尤其是C3A的早期水化。混合材的摻入量對(duì)水泥性能有一定的影響，采用燒失量取代石灰石摻入量作為特征較直觀。粉磨細(xì)度對(duì)水泥各齡期強(qiáng)度有一定的影響，粉磨越細(xì)、顆粒級(jí)配越窄，水泥水化反應(yīng)速度越快，強(qiáng)度越高，尤其對(duì)早期強(qiáng)度的影響最為顯著。樣本數(shù)據(jù)包括某廠12個(gè)月759組P·O42.5數(shù)據(jù)，部分?jǐn)?shù)據(jù)見表1。表1樣本原始數(shù)據(jù)模型選取細(xì)度、比表面積、初凝、終凝、燒失量、CaO、SO3、1d抗壓強(qiáng)度共計(jì)8個(gè)參數(shù)作為輸入特征參數(shù)，3d抗壓強(qiáng)度及28d抗壓強(qiáng)度分別作為3d及28d強(qiáng)度預(yù)測(cè)神經(jīng)網(wǎng)絡(luò)輸出特征進(jìn)行模型辨識(shí)。數(shù)據(jù)預(yù)處理主要包括誤差處理和數(shù)據(jù)變換，由于樣本數(shù)據(jù)有不同的工程單位，且在數(shù)值上相差很大，直接使用這些未經(jīng)過(guò)數(shù)據(jù)變換（歸一化）的原始數(shù)據(jù)容易引起計(jì)算誤差增大和計(jì)算的不確定，影響學(xué)習(xí)速度及精度，為了加快神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)速度和模型精度，樣本數(shù)據(jù)必須經(jīng)過(guò)歸一化處理才能作為訓(xùn)練樣本輸入。歸一化使用sklearn的MinMaxScaler函數(shù)進(jìn)行[0，1]區(qū)間的歸一。需要重點(diǎn)說(shuō)明數(shù)據(jù)歸一化在深度學(xué)習(xí)中在實(shí)踐過(guò)程中發(fā)現(xiàn)十分關(guān)鍵，直接影響模型精度，不可忽視。計(jì)算公式如下：3、神經(jīng)網(wǎng)絡(luò)模型訓(xùn)練及預(yù)測(cè)Momentum（動(dòng)量）算法是計(jì)算梯度的指數(shù)加權(quán)平均數(shù)，并利用該值來(lái)更新參數(shù)值，可有效解決局部最優(yōu)問題（如鞍點(diǎn)問題）。RMSProp（RootMeanSquareProp）算法是在對(duì)梯度進(jìn)行指數(shù)加權(quán)平均的基礎(chǔ)上，引入平方和平方根，有助于減少抵達(dá)最小值路徑上的擺動(dòng)，并允許使用一個(gè)更大的學(xué)習(xí)率，從而加快算法學(xué)習(xí)速度。Adam是一種可以替代傳統(tǒng)隨機(jī)梯度下降過(guò)程的一階優(yōu)化算法，它能基于訓(xùn)練數(shù)據(jù)迭代地更新神經(jīng)網(wǎng)絡(luò)權(quán)重，可以看作是修正后的Momentum+RMSProp算法，相對(duì)傳統(tǒng)的SGD隨機(jī)梯度下降優(yōu)化器，Adam對(duì)超參數(shù)的魯棒性更好。Nadam類似于帶有Nesterov動(dòng)量項(xiàng)的Adam。公式如下：一般而言，在想使用帶動(dòng)量的RMSprop，或者Adam的地方，大多可以使用Nadam取得更好的效果。

全連接神經(jīng)網(wǎng)絡(luò)包括輸入層、隱含層及輸出層，具備前向傳播計(jì)算損失及反向傳播更新參數(shù)的特性，其結(jié)構(gòu)圖如圖2所示。圖2全連接神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)圖全連接神經(jīng)網(wǎng)絡(luò)具有前向傳播與反向傳播性能，前向傳播每層經(jīng)過(guò)線性計(jì)算和激活函數(shù)計(jì)算網(wǎng)絡(luò)輸出，反向傳播采用優(yōu)化算法進(jìn)行模型參數(shù)更新，相對(duì)于BP網(wǎng)絡(luò)采用梯度下降（SGD）算法進(jìn)行模型參數(shù)更新帶來(lái)的梯度爆炸或消失（即在梯度函數(shù)上出現(xiàn)的以指數(shù)級(jí)遞增或者遞減的情況）等問題，本文采用Relu激活函數(shù)及Nadam優(yōu)化算法可有效解決上述問題。基于Nadam優(yōu)化器的水泥強(qiáng)度預(yù)測(cè)全連接神經(jīng)網(wǎng)絡(luò)模型包括一個(gè)輸入層（8節(jié)點(diǎn)）、隱含層1（256個(gè)節(jié)點(diǎn)）、BN層、隱含層2（128個(gè)節(jié)點(diǎn)）、BN層、隱含層3（128個(gè)節(jié)點(diǎn)）、DropOut（128個(gè)節(jié)點(diǎn)）、輸出層（1個(gè)節(jié)點(diǎn)）。隱含層使用Relu作為激活函數(shù)，輸出層使用Linear作為激活函數(shù)，模型損失函數(shù)采用mse（均方誤差），學(xué)習(xí)率設(shè)置為0.001，迭代次數(shù)設(shè)置為5?000。將數(shù)據(jù)集的90%用于訓(xùn)練，10%用于測(cè)試。訓(xùn)練結(jié)果見圖3。圖3模型訓(xùn)練結(jié)果3d抗壓強(qiáng)度訓(xùn)練集數(shù)據(jù)預(yù)測(cè)曲線如圖4所示。圖4基于Nadam優(yōu)化器的訓(xùn)練集數(shù)據(jù)3d強(qiáng)度預(yù)測(cè)曲線3d抗壓強(qiáng)度測(cè)試集數(shù)據(jù)預(yù)測(cè)曲線如圖5所示。圖5基于Nadam優(yōu)化器的測(cè)試集數(shù)據(jù)3d強(qiáng)度預(yù)測(cè)曲線模型的損失（均方誤差）分別為：訓(xùn)練集=0.000?59，測(cè)試集=0.048。測(cè)試集數(shù)據(jù)預(yù)測(cè)絕對(duì)誤差在0.017~2.14之間，測(cè)試集數(shù)據(jù)預(yù)測(cè)相對(duì)誤差在0.061%~7.47%之間。28d抗壓強(qiáng)度訓(xùn)練集數(shù)據(jù)預(yù)測(cè)曲線如圖6所示。圖6基于Nadam優(yōu)化器的訓(xùn)練集數(shù)據(jù)28d強(qiáng)度預(yù)測(cè)曲線28d抗壓強(qiáng)度測(cè)試集數(shù)據(jù)預(yù)測(cè)曲線如圖7所示。圖7基于Nadam優(yōu)化器的測(cè)試集數(shù)據(jù)28d強(qiáng)度預(yù)測(cè)曲線模型的損失（均方誤差）分別為：訓(xùn)練集=0.000?73，測(cè)試集=0.048。測(cè)試集數(shù)據(jù)預(yù)測(cè)絕對(duì)誤差在0.02~1.62之間，測(cè)試集數(shù)據(jù)預(yù)測(cè)相對(duì)誤差在0.04%~3.57%之間。采用SGD隨機(jī)梯度優(yōu)化器的28d抗壓強(qiáng)度預(yù)測(cè)模型訓(xùn)練及測(cè)試結(jié)果見圖8及圖9。圖8基于SGD優(yōu)化器的訓(xùn)練集數(shù)據(jù)28d強(qiáng)度預(yù)測(cè)曲線圖9基于SGD優(yōu)化器的測(cè)試集數(shù)據(jù)28d強(qiáng)度預(yù)測(cè)曲線Nadam與SGD優(yōu)化器28d強(qiáng)度預(yù)測(cè)模型對(duì)比見表2，由于訓(xùn)練集模型均方誤差分別為0.000?73及0.021，可見Nadam模型精度明顯優(yōu)于SGD模型。表2Nadam與SGD優(yōu)化器28d強(qiáng)度預(yù)測(cè)模型數(shù)據(jù)對(duì)比4、結(jié)