大數(shù)據(jù)分析的無(wú)限深度神經(jīng)網(wǎng)絡(luò)方法研究

1、 大數(shù)據(jù)分析的無(wú)限深度神經(jīng)網(wǎng)絡(luò)方法研究 Summary：本文將從當(dāng)前無(wú)限深度神經(jīng)網(wǎng)絡(luò)的概況出發(fā)，闡述大數(shù)據(jù)分析的價(jià)值和作用，對(duì)無(wú)限深度神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)算法進(jìn)行分析與探究，希望為相關(guān)人員提供一些幫助和建議，更好地運(yùn)用大數(shù)據(jù)分析，從而提高神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法的有效性。Key：神經(jīng)網(wǎng)絡(luò);深度神經(jīng);大數(shù)據(jù)近些年，互聯(lián)網(wǎng)技術(shù)、信息技術(shù)深入發(fā)展，人們進(jìn)入到深度網(wǎng)絡(luò)時(shí)代。大數(shù)據(jù)是深度網(wǎng)絡(luò)時(shí)代的一大產(chǎn)物，由于其適用于經(jīng)濟(jì)、科學(xué)等多個(gè)領(lǐng)域，因此大數(shù)據(jù)的價(jià)值和作用逐漸凸顯出來(lái)。將其應(yīng)用于無(wú)限深度神經(jīng)網(wǎng)絡(luò)后，神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法得到了進(jìn)一步開(kāi)發(fā)。從這個(gè)角度來(lái)看，應(yīng)積極研究無(wú)限深度神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)算法。一、當(dāng)前無(wú)限深度神經(jīng)網(wǎng)絡(luò)的

2、概況現(xiàn)階段，深度神經(jīng)網(wǎng)絡(luò)的概念活躍于工業(yè)領(lǐng)域與學(xué)術(shù)領(lǐng)域，主要指的是一種前饋深度網(wǎng)絡(luò)。從特點(diǎn)上看，前饋網(wǎng)絡(luò)的同層神經(jīng)元不具備時(shí)間參數(shù)與反饋連接，這使得深度神經(jīng)網(wǎng)絡(luò)適合對(duì)靜態(tài)數(shù)據(jù)進(jìn)行處理。無(wú)限深度神經(jīng)網(wǎng)絡(luò)則是指回復(fù)型、互連型的神經(jīng)網(wǎng)絡(luò)，不同神經(jīng)元具有反饋連接。從時(shí)間維度將其反饋結(jié)構(gòu)合理展開(kāi)，伴隨時(shí)間的演進(jìn)，神經(jīng)網(wǎng)絡(luò)能夠做到無(wú)限延伸。這樣一來(lái)，回復(fù)型、互連型的神經(jīng)網(wǎng)絡(luò)便可稱作無(wú)限深度網(wǎng)絡(luò)。二、無(wú)限深度神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)算法（一）基本學(xué)習(xí)算法從計(jì)算能力來(lái)看，神經(jīng)網(wǎng)絡(luò)主要體現(xiàn)于連接權(quán)值。由此可以得出，基本學(xué)習(xí)算法便是對(duì)網(wǎng)絡(luò)權(quán)值展開(kāi)調(diào)節(jié)的基本方法。對(duì)權(quán)值進(jìn)行調(diào)節(jié)的目的在于讓網(wǎng)絡(luò)進(jìn)行特定知識(shí)的學(xué)習(xí)或?qū)⑻囟ㄓ?jì)算任

3、務(wù)實(shí)現(xiàn)，并且網(wǎng)絡(luò)計(jì)算任務(wù)一般會(huì)會(huì)被量化成特定性能函數(shù)所作的優(yōu)化1。（二）BPTT學(xué)習(xí)算法BP學(xué)習(xí)算法屬于一種對(duì)前饋網(wǎng)絡(luò)展開(kāi)訓(xùn)練的重要算法，人們使用BPTT學(xué)習(xí)算法時(shí)得到了較大的飛躍。按照BP學(xué)習(xí)算法基本理念，美國(guó)學(xué)者曾在上個(gè)世紀(jì)九十年代提出對(duì)無(wú)限深度網(wǎng)絡(luò)進(jìn)行訓(xùn)練的傳遞算法，借助反向傳遞，形成了BPTT學(xué)習(xí)算法。整體來(lái)看，BPTT學(xué)習(xí)算法對(duì)以往的BP學(xué)習(xí)算法進(jìn)行了一定擴(kuò)展，先根據(jù)無(wú)限深度神經(jīng)網(wǎng)絡(luò)向前饋網(wǎng)絡(luò)進(jìn)行轉(zhuǎn)換，隨后讓前饋網(wǎng)絡(luò)各層的權(quán)值保持一致，并和回復(fù)型、互連型的神經(jīng)網(wǎng)格擁有相同的權(quán)值。按照連續(xù)訓(xùn)練、階段性訓(xùn)練等訓(xùn)練方式，可形成相應(yīng)的擴(kuò)展算法。一種是EpochBPTT擴(kuò)展算法。EBPTT擴(kuò)展

4、算法可通過(guò)階段性訓(xùn)練方法對(duì)網(wǎng)絡(luò)權(quán)值展開(kāi)一系列調(diào)整。借助該擴(kuò)展算法展開(kāi)網(wǎng)絡(luò)訓(xùn)練的過(guò)程中，應(yīng)把數(shù)據(jù)集劃分為不同的獨(dú)立段，各段分別在無(wú)限深度神經(jīng)網(wǎng)絡(luò)里代表相應(yīng)的時(shí)序。另一種是RealBPTT擴(kuò)展算法。RealBPTT擴(kuò)展算法能夠通過(guò)連續(xù)法或?qū)崟r(shí)法對(duì)網(wǎng)絡(luò)權(quán)值展開(kāi)相應(yīng)調(diào)整。若t1是運(yùn)行網(wǎng)絡(luò)的起始時(shí)間，t2是運(yùn)行網(wǎng)絡(luò)的當(dāng)前時(shí)間，按照BPTT基本算法，RBPTT擴(kuò)展算法和EBPTT算法有所差異，BPTT不具備階段概念，只有處于t1這一起始時(shí)間時(shí)，網(wǎng)絡(luò)狀態(tài)才會(huì)得到初始化，同時(shí)，網(wǎng)絡(luò)權(quán)值無(wú)需在指定的t2時(shí)間更新，而是在任意時(shí)間t都可以得到更新，處于t時(shí)間的性能函數(shù)便是網(wǎng)絡(luò)性能函數(shù)。（三）RTRL學(xué)習(xí)算法從擴(kuò)展方

5、式來(lái)看，BPTT學(xué)習(xí)算法以傳播的反向算法為基礎(chǔ)，由后到前對(duì)誤差進(jìn)行傳播。不同于BPTT學(xué)習(xí)算法，RTRL學(xué)習(xí)算法能夠?qū)⒒顒?dòng)性的網(wǎng)絡(luò)信息進(jìn)行前向傳播。早在上個(gè)世紀(jì)八十年代，RTRL學(xué)習(xí)算法便被正式提出，人們還將該學(xué)習(xí)算法進(jìn)行了多次變形。（四）LSTM學(xué)習(xí)算法在無(wú)限深度神經(jīng)網(wǎng)絡(luò)中一直存在網(wǎng)絡(luò)梯度的問(wèn)題，詳細(xì)來(lái)講，傳播誤差時(shí)會(huì)產(chǎn)生梯度消失、梯度爆炸等問(wèn)題。要想將以上問(wèn)題有效解決，瑞士的著名學(xué)者在上個(gè)世紀(jì)末提出LSTM網(wǎng)絡(luò)，即長(zhǎng)短時(shí)記憶，隨后人們又對(duì)LSTM學(xué)習(xí)算法展開(kāi)了多種變形。若網(wǎng)絡(luò)激活函數(shù)屬于非線性函數(shù)，則伴隨時(shí)間的變化神經(jīng)網(wǎng)絡(luò)容易產(chǎn)生梯度爆炸、梯度消失等問(wèn)題，解決該問(wèn)題時(shí)可借助線性函數(shù)來(lái)實(shí)現(xiàn)，

6、這是一個(gè)行之有效的方法。進(jìn)行網(wǎng)絡(luò)訓(xùn)練的過(guò)程中，應(yīng)融合RERL學(xué)習(xí)算法與BPTT學(xué)習(xí)算法，訓(xùn)練輸出層與權(quán)值時(shí)運(yùn)用BPTT學(xué)習(xí)算法，權(quán)值輸入則由RTRL學(xué)習(xí)算法加以更新2。除此之外，為了降低神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)難度，應(yīng)采用截?cái)喾?，從而讓網(wǎng)絡(luò)隱層輸出降低敏感性。（五）學(xué)習(xí)方法的應(yīng)用伴隨大數(shù)據(jù)的普及和推廣，以GPU為代表的計(jì)算設(shè)備得到了空前發(fā)展，相關(guān)學(xué)者也提出了深層網(wǎng)絡(luò)的訓(xùn)練思路。由于大數(shù)據(jù)得到了豐富，因此深度學(xué)習(xí)算法在應(yīng)用過(guò)程中取得了質(zhì)的飛躍。借助無(wú)限深度學(xué)習(xí)算法，人們能夠?qū)Σ煌愋偷臄?shù)據(jù)展開(kāi)充分利用，如弱標(biāo)注數(shù)據(jù)、普通數(shù)據(jù)、標(biāo)注數(shù)據(jù)等，通過(guò)海量大數(shù)據(jù)自動(dòng)化學(xué)習(xí)知識(shí)的抽象表達(dá)方法，換句話說(shuō)，就是將原始數(shù)據(jù)

7、向特定知識(shí)數(shù)據(jù)進(jìn)行轉(zhuǎn)化。應(yīng)用無(wú)限深度學(xué)習(xí)算法后，算法精準(zhǔn)度得到了極大的提升，僅用了不到十年，無(wú)限深度學(xué)習(xí)算法便將文本理解、圖像理解以及語(yǔ)義理解等不同領(lǐng)域算法思想完全顛覆，經(jīng)過(guò)一段時(shí)間的演變，產(chǎn)生了基于數(shù)據(jù)訓(xùn)練的端到端模型，隨后通過(guò)直接輸出獲取計(jì)算結(jié)果，這是一種嶄新的學(xué)習(xí)算法模式。無(wú)限深度神經(jīng)網(wǎng)絡(luò)最大的特點(diǎn)在于能夠?qū)r(shí)序特征、時(shí)序數(shù)據(jù)進(jìn)行提取，即便增加了優(yōu)化難度，相關(guān)學(xué)者也予以高度重視，積極開(kāi)發(fā)解決方案，如LSTM學(xué)習(xí)算法、BPTT學(xué)習(xí)算法等。與此同時(shí)，無(wú)限深度神經(jīng)網(wǎng)絡(luò)與常規(guī)深度神經(jīng)網(wǎng)絡(luò)相比，其在處理時(shí)序數(shù)據(jù)時(shí)具備的優(yōu)勢(shì)更大，計(jì)算能力也更強(qiáng)。除此之外，無(wú)限深度神經(jīng)網(wǎng)絡(luò)在文本理解方面可以根據(jù)順序來(lái)進(jìn)行句子中的單詞處理，對(duì)于后續(xù)內(nèi)容的處理，無(wú)限深度神經(jīng)網(wǎng)絡(luò)還能夠?qū)η拔男畔⒆鞒龀橄笮缘恼?，記憶功能極強(qiáng)。結(jié)語(yǔ)：總而言之，研究無(wú)限深度神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)算法具有重要的意義。相關(guān)人員應(yīng)對(duì)當(dāng)前無(wú)限深度神經(jīng)網(wǎng)絡(luò)的概況有一個(gè)全面了解，充分把握大數(shù)據(jù)分析的價(jià)值和作用，能夠?qū)⒋髷?shù)據(jù)分析應(yīng)用到神經(jīng)網(wǎng)絡(luò)的基本學(xué)習(xí)算法、BPTT學(xué)習(xí)算法、RTRL學(xué)習(xí)算法、LSTM學(xué)習(xí)算法中，從而促進(jìn)我國(guó)大數(shù)據(jù)分析的平穩(wěn)、快速發(fā)展。Reference：1鄧亞平，段建東，賈顥，等.基于布谷鳥(niǎo)算法優(yōu)化獨(dú)立循環(huán)神經(jīng)網(wǎng)絡(luò)深度學(xué)習(xí)的超