基于深度學(xué)習(xí)數(shù)據(jù)驅(qū)動軟測量發(fā)展

1、基于深度學(xué)習(xí)的數(shù)據(jù)驅(qū)動軟基于深度學(xué)習(xí)的數(shù)據(jù)驅(qū)動軟測量的測量的發(fā)展發(fā)展姓名：趙京輝姓名：趙京輝學(xué)號：學(xué)號：14721501147215011 1、深度學(xué)習(xí)介紹、深度學(xué)習(xí)介紹深度學(xué)習(xí)（深度學(xué)習(xí)（DLDL）又稱深層神經(jīng)網(wǎng)絡(luò)，可理解為含有多個隱藏層的神經(jīng)）又稱深層神經(jīng)網(wǎng)絡(luò)，可理解為含有多個隱藏層的神經(jīng)網(wǎng)絡(luò)。網(wǎng)絡(luò)。深度學(xué)習(xí)算法思想深度學(xué)習(xí)算法思想第一步是預(yù)第一步是預(yù)訓(xùn)練階段。訓(xùn)練階段。其中深度網(wǎng)絡(luò)其中深度網(wǎng)絡(luò)先先通過通過無標(biāo)簽的數(shù)據(jù)進(jìn)行無監(jiān)督無標(biāo)簽的數(shù)據(jù)進(jìn)行無監(jiān)督的預(yù)訓(xùn)練，并將訓(xùn)練的權(quán)值作為深度網(wǎng)絡(luò)初始化的權(quán)值。的預(yù)訓(xùn)練，并將訓(xùn)練的權(quán)值作為深度網(wǎng)絡(luò)初始化的權(quán)值。第二步是反向傳播第二步是反向傳播階段。運(yùn)用

2、有標(biāo)簽的數(shù)據(jù)對整個網(wǎng)絡(luò)進(jìn)行有監(jiān)督的階段。運(yùn)用有標(biāo)簽的數(shù)據(jù)對整個網(wǎng)絡(luò)進(jìn)行有監(jiān)督的反向傳播反向傳播和梯度下降訓(xùn)練，對初始權(quán)值進(jìn)行微調(diào)。和梯度下降訓(xùn)練，對初始權(quán)值進(jìn)行微調(diào)。淺層模型和深層模型的對比淺層模型和深層模型的對比深層模型深層模型訓(xùn)練面臨的挑戰(zhàn)訓(xùn)練面臨的挑戰(zhàn)雖然幾十年前人們就發(fā)現(xiàn)了深度網(wǎng)絡(luò)在理論上的簡潔性和較強(qiáng)的表達(dá)雖然幾十年前人們就發(fā)現(xiàn)了深度網(wǎng)絡(luò)在理論上的簡潔性和較強(qiáng)的表達(dá)能力，但能力，但在深度學(xué)習(xí)問世之前在深度學(xué)習(xí)問世之前，在訓(xùn)練深度網(wǎng)絡(luò)方面，在訓(xùn)練深度網(wǎng)絡(luò)方面?zhèn)鹘y(tǒng)的傳統(tǒng)的反向傳播反向傳播和梯度下降來訓(xùn)練深層模型和梯度下降來訓(xùn)練深層模型時面臨諸多困難：時面臨諸多困難：1. 1.數(shù)據(jù)獲取問題

3、。數(shù)據(jù)獲取問題。2. 2.局部極值問題。局部極值問題。3. 3.梯度彌散問題。梯度彌散問題。20062006年，年，HintonHinton提出了以自編碼為訓(xùn)練方式的逐層貪婪訓(xùn)練算法，為提出了以自編碼為訓(xùn)練方式的逐層貪婪訓(xùn)練算法，為深度神經(jīng)網(wǎng)絡(luò)帶來了希望。深度神經(jīng)網(wǎng)絡(luò)帶來了希望。自編碼器自編碼器自編碼器利用一組無標(biāo)簽的訓(xùn)練數(shù)據(jù)自編碼器利用一組無標(biāo)簽的訓(xùn)練數(shù)據(jù)，采用反，采用反向傳播算法向傳播算法進(jìn)行無監(jiān)督的模型訓(xùn)練進(jìn)行無監(jiān)督的模型訓(xùn)練。訓(xùn)練目標(biāo)：輸入訓(xùn)練目標(biāo)：輸入= =輸出輸出自編碼器利用自編碼器利用訓(xùn)練數(shù)據(jù)隱含著特定的結(jié)構(gòu)，隱訓(xùn)練數(shù)據(jù)隱含著特定的結(jié)構(gòu)，隱藏層就會學(xué)到藏層就會學(xué)到輸入輸入數(shù)據(jù)數(shù)據(jù)

4、間間的相關(guān)性的相關(guān)性。隱藏層就隱藏層就變成了輸入數(shù)據(jù)的一種抽象的簡化表示。變成了輸入數(shù)據(jù)的一種抽象的簡化表示。引入一個對應(yīng)的解碼器為了驗證隱藏層的特征引入一個對應(yīng)的解碼器為了驗證隱藏層的特征確實(shí)是輸入的一種抽象表示，且沒有丟失太多確實(shí)是輸入的一種抽象表示，且沒有丟失太多信息，信息，逐層貪婪算法的主要思路逐層貪婪算法的主要思路1. 1.每次只訓(xùn)練網(wǎng)絡(luò)中的一層，即首先訓(xùn)練一個只含一個隱藏層的網(wǎng)絡(luò)。每次只訓(xùn)練網(wǎng)絡(luò)中的一層，即首先訓(xùn)練一個只含一個隱藏層的網(wǎng)絡(luò)。2. 2.當(dāng)這層網(wǎng)絡(luò)訓(xùn)練結(jié)束之后才開始訓(xùn)練一個有兩個隱藏層的網(wǎng)絡(luò)，以當(dāng)這層網(wǎng)絡(luò)訓(xùn)練結(jié)束之后才開始訓(xùn)練一個有兩個隱藏層的網(wǎng)絡(luò)，以此類推。此類推。3

5、. 3.在每一步中，我們把已經(jīng)訓(xùn)練好的前在每一步中，我們把已經(jīng)訓(xùn)練好的前K-1K-1層固定，然后將前層固定，然后將前K-1K-1層的層的輸出作為輸入，訓(xùn)練第輸出作為輸入，訓(xùn)練第K K層。層。4. 4.將各層單獨(dú)訓(xùn)練所得到的權(quán)重用來初始化最終的深度網(wǎng)絡(luò)的權(quán)重。將各層單獨(dú)訓(xùn)練所得到的權(quán)重用來初始化最終的深度網(wǎng)絡(luò)的權(quán)重。逐層貪婪的訓(xùn)練方法取得成功要?dú)w功于以下幾方面：逐層貪婪的訓(xùn)練方法取得成功要?dú)w功于以下幾方面：1 1、數(shù)據(jù)獲取數(shù)據(jù)獲取。雖然獲取有標(biāo)簽數(shù)據(jù)的代價是昂貴的，但獲取大量的無標(biāo)簽數(shù)據(jù)是容雖然獲取有標(biāo)簽數(shù)據(jù)的代價是昂貴的，但獲取大量的無標(biāo)簽數(shù)據(jù)是容易的。易的。DLDL的潛力在于它能通過使用大量

6、的無標(biāo)簽數(shù)據(jù)來學(xué)習(xí)到更好的的潛力在于它能通過使用大量的無標(biāo)簽數(shù)據(jù)來學(xué)習(xí)到更好的模型模型2 2、更好的局部極值更好的局部極值當(dāng)用無標(biāo)簽數(shù)據(jù)訓(xùn)練完網(wǎng)絡(luò)后，相比于隨機(jī)初始化而言，各層初始權(quán)當(dāng)用無標(biāo)簽數(shù)據(jù)訓(xùn)練完網(wǎng)絡(luò)后，相比于隨機(jī)初始化而言，各層初始權(quán)重會位于參數(shù)空間中較好的位置上重會位于參數(shù)空間中較好的位置上?！爸饘映跏蓟饘映跏蓟钡牟襟E就是讓模的步驟就是讓模型處于一個較為接近全局最優(yōu)的位置，從而獲得更好的效果。型處于一個較為接近全局最優(yōu)的位置，從而獲得更好的效果。網(wǎng)絡(luò)微調(diào)網(wǎng)絡(luò)微調(diào)使用反向傳播法進(jìn)行微調(diào)使用反向傳播法進(jìn)行微調(diào)逐層初始化完成后，就可以用有標(biāo)簽的數(shù)據(jù)，采用反向傳播算法對模逐層初始化完成后

7、，就可以用有標(biāo)簽的數(shù)據(jù)，采用反向傳播算法對模型進(jìn)行有監(jiān)督的訓(xùn)練。這一步型進(jìn)行有監(jiān)督的訓(xùn)練。這一步是是對多層模型整體的精細(xì)調(diào)整對多層模型整體的精細(xì)調(diào)整，一般被一般被稱作稱作“微調(diào)微調(diào)。微調(diào)將棧式自編碼神經(jīng)網(wǎng)絡(luò)的所有層視為一個模型，這樣在每次迭代微調(diào)將棧式自編碼神經(jīng)網(wǎng)絡(luò)的所有層視為一個模型，這樣在每次迭代中，網(wǎng)絡(luò)中所有的權(quán)重值都可以被優(yōu)化。中，網(wǎng)絡(luò)中所有的權(quán)重值都可以被優(yōu)化。深度神經(jīng)網(wǎng)絡(luò)建模步驟：深度神經(jīng)網(wǎng)絡(luò)建模步驟：確定網(wǎng)絡(luò)的體系結(jié)構(gòu)確定網(wǎng)絡(luò)的體系結(jié)構(gòu)預(yù)訓(xùn)練：逐層貪婪訓(xùn)練算法預(yù)訓(xùn)練：逐層貪婪訓(xùn)練算法微調(diào)：初始化權(quán)值，微調(diào)：初始化權(quán)值，BP算法微調(diào)算法微調(diào)是否過擬合是否過擬合模型測試模型測試YN結(jié)

8、束結(jié)束原油蒸餾裝置原油蒸餾裝置應(yīng)用應(yīng)用軟測量建模在線質(zhì)量預(yù)測指標(biāo)：軟測量建模在線質(zhì)量預(yù)測指標(biāo)： 9595重柴油分餾點(diǎn)溫度重柴油分餾點(diǎn)溫度原油蒸餾裝置原油蒸餾裝置應(yīng)用應(yīng)用在本研究中，數(shù)據(jù)集包含在本研究中，數(shù)據(jù)集包含351351個選自于最近一年的工藝操作中的過程個選自于最近一年的工藝操作中的過程/ /質(zhì)量的樣本。該數(shù)據(jù)集將質(zhì)量的樣本。該數(shù)據(jù)集將251251個樣本分成訓(xùn)練集，另個樣本分成訓(xùn)練集，另100100個樣本分為測個樣本分為測試集。試集。應(yīng)特別注意，選取的過程變量中應(yīng)特別注意，選取的過程變量中另有另有17241724個個“無標(biāo)簽無標(biāo)簽”的樣本的樣本數(shù)據(jù)數(shù)據(jù)，這些數(shù)據(jù)沒有這些數(shù)據(jù)沒有質(zhì)量樣本作為

9、回歸目標(biāo)。在這方面，過程變量中質(zhì)量樣本作為回歸目標(biāo)。在這方面，過程變量中17241724個個“無標(biāo)簽無標(biāo)簽”的樣本被用于的樣本被用于D DL L的無監(jiān)督訓(xùn)練。的無監(jiān)督訓(xùn)練。但但這些這些無無監(jiān)督數(shù)據(jù)不能被監(jiān)督數(shù)據(jù)不能被傳統(tǒng)的數(shù)據(jù)驅(qū)動模型利用。傳統(tǒng)的數(shù)據(jù)驅(qū)動模型利用。確立模型確立模型通過通過十折十折交叉驗證交叉驗證，確立，確立用于質(zhì)量預(yù)測用于質(zhì)量預(yù)測的各模型結(jié)構(gòu)：的各模型結(jié)構(gòu)：1. 1.深度神經(jīng)網(wǎng)絡(luò)深度神經(jīng)網(wǎng)絡(luò)的的網(wǎng)絡(luò)架構(gòu)網(wǎng)絡(luò)架構(gòu)選擇為選擇為16-20-16-116-20-16-1。2. 2.單隱層神經(jīng)網(wǎng)絡(luò)隱含層的神經(jīng)元的數(shù)量選擇為單隱層神經(jīng)網(wǎng)絡(luò)隱含層的神經(jīng)元的數(shù)量選擇為4545。3. 3.支持向

10、量機(jī)的核函數(shù)采用最常用的高斯核，正則化參數(shù)支持向量機(jī)的核函數(shù)采用最常用的高斯核，正則化參數(shù)C=1.2 C=1.2 =0.01=0.01，r=0.07r=0.07。4. 4.單純單純PLSPLS的訓(xùn)練集選定為的訓(xùn)練集選定為1111。5.NNPLS5.NNPLS潛變量的數(shù)量選擇為潛變量的數(shù)量選擇為11 11 ，神經(jīng)元的數(shù)量選擇為，神經(jīng)元的數(shù)量選擇為2 2。與傳統(tǒng)的數(shù)據(jù)與傳統(tǒng)的數(shù)據(jù)建模建模方法方法對比對比1 1、與傳統(tǒng)的數(shù)據(jù)與傳統(tǒng)的數(shù)據(jù)建模建模結(jié)構(gòu)相比，深層結(jié)構(gòu)在近似值方面是更有效和結(jié)構(gòu)相比，深層結(jié)構(gòu)在近似值方面是更有效和有力的。有力的。2 2、傳統(tǒng)的淺傳統(tǒng)的淺層層經(jīng)網(wǎng)絡(luò)和支持向量機(jī)沒有考慮潛變量經(jīng)

11、網(wǎng)絡(luò)和支持向量機(jī)沒有考慮潛變量; ;但是，深度神經(jīng)但是，深度神經(jīng)網(wǎng)絡(luò)通過預(yù)處理網(wǎng)絡(luò)通過預(yù)處理階段階段建立潛變量模型，這使其能夠充分利用大量的過建立潛變量模型，這使其能夠充分利用大量的過程數(shù)據(jù)。隨著越來越多的過程數(shù)據(jù)被采用，深度神經(jīng)網(wǎng)絡(luò)能夠提取更程數(shù)據(jù)。隨著越來越多的過程數(shù)據(jù)被采用，深度神經(jīng)網(wǎng)絡(luò)能夠提取更多的過程信息，從而有更好的表示能力。多的過程信息，從而有更好的表示能力。深度學(xué)習(xí)與深度學(xué)習(xí)與SVMSVM測試誤差絕對值分布測試誤差絕對值分布1 1、運(yùn)用運(yùn)用深度學(xué)習(xí)深度學(xué)習(xí)預(yù)測誤差的預(yù)測誤差的7575落入在落入在33的范圍內(nèi)，的范圍內(nèi)，而而SVMSVM相對相對應(yīng)為應(yīng)為6464的。的。2 2、與與SVMSVM相比深相比深度度學(xué)習(xí)顯著減少較大的估計誤差，這表明更好的泛學(xué)習(xí)顯著減少較大的估計誤差，這表明更好的泛化能力化能力。o1 Co4 Co3 Co2 C預(yù)處理訓(xùn)練的有效性驗證預(yù)處理訓(xùn)練的有效性驗證1 1、逐層貪婪訓(xùn)練算法讓模型處于一個較為接近全局最優(yōu)的位置，從、逐層貪婪訓(xùn)練算法讓模型處于一個較為接近全局最優(yōu)的位置，從而獲得更好的效果。而獲得更好的效果。2 2、沒有先驗知識、沒有先驗知識DLDL模型