人工智能tensorflow實(shí)驗(yàn)報告

一、軟件下載為了更好的到達(dá)預(yù)期的效果，本次tensorflowLinux環(huán)境下進(jìn)展，所需的軟件及相關(guān)下載信息如下：1.CentOS軟件介紹：CentOS是一個基于RedHatLinux供給的可自由使用源代碼的企業(yè)級LinuxCentOS都會獲得十年的支持〔通過安全更方式〕。版本的CentOS大約每兩年發(fā)行一次，而每個版本的CentOS會定期〔或許每〕更一次，以便支持的硬件。這樣，建立一個安全、低維護(hù)、穩(wěn)定、高推測性、高重復(fù)性的Linux環(huán)境。CentOS是CommunityEnterpriseOperatingRHEL的根底上修正了不少的Bug，相對于其他Linux發(fā)行版，其穩(wěn)定性值得信任。軟件下載：本次試驗(yàn)所用的CentOS版本為CentOS7,可在CentOS官網(wǎng)上直接下載DVDISO鏡像文件。下載鏈接：“:///centos/7/isos/x86_64/CentOS-7-x86_64-DVD-1611.i“:///centos/7/isos/x86_64/CentOS-7-x86_64-DVD-1611.iso.2.Tensorflow軟件介紹：TensorFlowDistBelief進(jìn)展研發(fā)的其次代人工智能學(xué)習(xí)系統(tǒng)，其TensorFlow為張量從流圖的一端流淌到另一端計算過TensorFlow是將簡單的數(shù)據(jù)構(gòu)造傳輸至人工智能神經(jīng)網(wǎng)中進(jìn)展分析和處理過2023DistBeliefTensorFlow將完全開源，任何人都可以用。軟件下載：本次試驗(yàn)所用的Tensorflow版本為Tensorflow0.5.0,Linux下進(jìn)展TensorflowGitHubLinux版本的。下載鏈接：s://github/tensorflow/tensorflow/tree/0.5.03.Anaconda軟件介紹：AnacondaPythonLinux,Mac,Windows系統(tǒng)，供給了包治理與環(huán)境治理的功能，可以很便利地解決多版本python并存、Anaconda利用工具/conda來進(jìn)展packageenvironmentPython和相關(guān)的配套工具。軟件下載：Anaconda2-4.2.0,Linux中AnacondaLinux版本的。下載鏈接：“://continuum.io/downloads/#linux“s://continuum.io/downloads/#linux.4.VMwareWorkstation軟件介紹：VMwareWorkstation〔中文名“威睿工作站”〕是一款功能強(qiáng)大的桌面虛擬計VMwareWorkstation可在一部實(shí)體IT開發(fā)人員和系統(tǒng)治理員而言，VMwarePXE等方面的特點(diǎn)使它成為必不行少的工具。軟件下載：VMwareWorkstation官網(wǎng)上下載。下載鏈接：s://my.vmware/web/vmware/info/slug/desktop_end_user_computing/vmware_workstation/10_0.5.Xshell軟件介紹：WindowsTELNETXshell通過互聯(lián)網(wǎng)到遠(yuǎn)程主機(jī)的安全連接以及它創(chuàng)性的設(shè)計和特色幫助用戶在簡單的網(wǎng)絡(luò)環(huán)境中享受他們的工作。XshellWindows界面下用來訪問遠(yuǎn)端不同系統(tǒng)下的效勞器，從而比較好的到達(dá)遠(yuǎn)程掌握終端的目的。軟件下載：Xshell5.0.0964,可直接在百度軟件中心下載，Xshell官網(wǎng)上下載〔包含中文漢化版的〕。下載鏈接：“://netsarang/xshell_download.html“://netsarang/xshell_download.html.二、軟件安裝環(huán)境下進(jìn)展，所以需要安裝一個虛擬機(jī)，其軟件的安裝如下：VMwareWorkstation10.7zVMwareWorkstation10.7z為一個可執(zhí)行的exe名目，雙擊便可安裝。安裝截圖如下：成功安裝后截圖：2.CentOS7CentOS7ISOVMwareWorkstation10.7z中建虛擬機(jī)來進(jìn)展安裝。由于安裝步驟比較繁瑣，這里選取主要截圖〔其具體安裝可參考鏈接s://jingyan.baidu/article/eae0782787b4c01fec548535.html〕：成功安裝后截圖：成功安裝后截圖：運(yùn)行截圖：3.Anaconda2-4.2.0本次實(shí)驗(yàn)的Anaconda2-4.2.0 為一個sh Anaconda2-4.2.0-Linux-x86_64.sh進(jìn)展安裝。安裝截圖如下：ipython界面：4.Tensorflowwhlpipinstalltensorflow-0.5.0-cp27-none-linux_x86_64.whl進(jìn)展安裝。安裝截圖如下：成功安裝截圖：5.Xshell本上試驗(yàn)的Xshell5.0.0964為一個可執(zhí)行的exe文件，選擇好安裝名目，雙擊即可進(jìn)展安裝。安裝截圖如下：成功安裝后截圖：運(yùn)行截圖：三、算法原理inceptionCNNCNNinception模型做一個簡潔的介紹：CNN卷積神經(jīng)網(wǎng)絡(luò)：卷積神經(jīng)網(wǎng)絡(luò)是近年進(jìn)展起來，并引起廣泛重視的一種高效識別方法。2060年月，HubelWiesel在爭論貓腦皮層中用于局部敏感和方向選擇的神K.Fukushima1980年提出的識別機(jī)是卷積神經(jīng)網(wǎng)絡(luò)的第一個實(shí)現(xiàn)網(wǎng)絡(luò)。隨后，更多的科研工作者對該網(wǎng)絡(luò)進(jìn)展了改進(jìn)。其中，具有代表性的爭論成果是Taylor提出的“改進(jìn)認(rèn)知機(jī)”，該方法綜合了各種改進(jìn)方法的優(yōu)點(diǎn)并避開了耗時的誤差反向傳播。一般地，CNN的根本構(gòu)造包括兩層，其一為特征提取層，每個神經(jīng)元的輸sigmoid函數(shù)作為卷積網(wǎng)絡(luò)的激活函數(shù)，率。CNNCNN時，避開了顯示的特征提取和分類過程中數(shù)據(jù)重建的簡單度。ConvolutionLayers卷積層maps被一個可學(xué)習(xí)的卷積核進(jìn)展卷積，然后mapmap可能是組合卷maps的值： xfjj

x1*k

b

i ij j這里M 表示選擇的輸入maps的集合，那么到底選擇哪些輸入maps呢？有j選擇一對的或者三個的。但下面我們會爭論如何去自動選擇需要組合的特征mapbmap，mapsmapj和輸出特征mapk都是從輸入mapi〔1〕ComputingtheGradients梯度計算W1T“?”表示每個元素相乘。E

1f(”u )

(1)W

x1()TEWW

(2)我們假定每個卷積層都會接一個下采樣層+1BP來說，我們知道，要想求得層的每一個神經(jīng)節(jié)點(diǎn)的靈敏度δ〔也就是權(quán)值更的公式〔2〕〕。為了求這個靈敏度我們就需要先對下一層的節(jié)點(diǎn)〔連接到當(dāng)前層的感興趣節(jié)點(diǎn)的第+1層的節(jié)點(diǎn)〕的靈敏度求和〔得到1〕，然后乘以這些連接對應(yīng)的權(quán)值〔層感興趣節(jié)點(diǎn)和第+1層節(jié)點(diǎn)的權(quán)值〕W。再乘以當(dāng)前層u的激活函f的導(dǎo)數(shù)值〔也就是那個靈敏度反向傳播的公式〔1〕的的求解〕，這樣就可以得到當(dāng)前層每個神經(jīng)節(jié)點(diǎn)對應(yīng)的靈敏度了。然而，由于下采樣的存在，采樣層的一個像素〔神經(jīng)元節(jié)點(diǎn)〕對應(yīng)的靈敏度δ對應(yīng)于卷積層〔上一層〕的輸出map的一塊像素〔采樣窗口大小〕。因此，層map的每個節(jié)點(diǎn)只與+1map的一個節(jié)點(diǎn)連接。為了有效計算層的靈敏度，我們需要上采樣upsample 這個下采樣層對應(yīng)的靈敏度map〔特征map中每個像素對應(yīng)一個靈敏度，所以然后再將層的map的激活值的偏導(dǎo)數(shù)與從第+1層的上采樣得到的靈敏度map逐元素相乘〔也就是公式〔1〕〕。β就可以完成第δ的計算。mapjmap〔參考公式〔1〕〕：1(f”(u) up(1))j j j jup(.)表示一個上采樣操作。假設(shè)下采樣的采樣因子是n的話，它簡潔的將每個像素水平和垂直方向上拷貝n次。這樣就可以恢復(fù)原來的大小了。實(shí)際上，這Kronecker乘積來實(shí)現(xiàn)：up(x)x1nn到這里，對于一個給定的map，我們就可以計算得到其靈敏度map了。然后我們就可以通過簡潔的對層中的靈敏度map中全部節(jié)點(diǎn)進(jìn)展求和快速的計算bias基的梯度了：E ()b juvj u,v (3)最終，對卷積核的權(quán)值的梯度就可以用BP算法來計算了〔公式〔2〕〕。另bias基的梯度計算一樣：E()

(p1)(p1)i uv

x1i

kij u,v

juv i uvkij這里，

patch，輸出卷積ijkij的(u,v)位置的值是由上一層的(u,v)patch與卷積核

逐元素相乘的結(jié)果。Sub-samplingLayers子采樣層對于子采樣層來說，有Nmaps，就有Nmaps，只是每個輸出map都變小了。xf(down(x1)b)j j j jnxn的塊nmapβb?！?〕ComputingtheGradients梯度計算的偏置參數(shù)β和b就可以輕而易舉了〔公式〔3〕〕。假設(shè)下一個卷積層與這BPmaps。mappatch對應(yīng)mapmappatchδ遞推，也就是靈敏度反向傳播回來。另外，需要乘以輸入patch與輸出像素之間連接的權(quán)值，這個權(quán)值實(shí)際上就是卷積核的權(quán)值〔已旋轉(zhuǎn)的〕。f”(u) conv2(1,rot180(k1),”full”)j j j j到這里，我們就可以對bβ計算梯度了。首先，加性基b的計算和上面卷map中全部元素加起來就可以了：E()bj u,v

juvβ，由于涉及到了在前向傳播過程中下采樣map的計算，所以我們最好在前向的過程中保存好這些maps，這樣在反向的計算中就不用重計算了。我們定義：)j j這樣，對β的梯度就可以用下面的方式計算：E ( jj u,v

d)j uvLearningCombinationsofFeatureMapsmap的組合大局部時候，通過卷積多個輸入maps，然后再對這些卷積值求和得到一個mapCNN在訓(xùn)練的過程中mapsmapij

jmapimap的權(quán)jmap可以表示為：xf

n

(x1*k)b需要滿足約束：

j ij i i ji1 1,and 0ij

1.這些對變量ij

的約束可以通過將變量ij

表示為一個組無約束的隱含權(quán)值c softmax〔softmax的因變量是自變量的指數(shù)函數(shù)，他們ij的變化率會不同〕。

exp(c ) ijij exp(c )k kjj來說，每組權(quán)值cij

mapmap的更mapj不同而已。Softmax函數(shù)的導(dǎo)數(shù)表示為：kc ki

i kiδKroneckerdelta。對于誤差對于第層變量的導(dǎo)數(shù)為：iE

Eu

( (x1*k)) ui

i

i i uv最終就可以通過鏈?zhǔn)揭?guī)章去求得代價函數(shù)關(guān)于權(quán)值ci

的偏導(dǎo)數(shù)了：E

E

E E i k

ck

ii k

k kkk〔1〕EnforcingSparseCombinations加強(qiáng)稀疏性組合為了限制i

map只與某些而不是全部的輸?(α)。對于單個樣本，重寫代價函數(shù)為：EnEn

i,j

|() |ijci

求導(dǎo)的奉獻(xiàn)。規(guī)章化項(xiàng)?(α)對求導(dǎo)i是：然后，通過鏈?zhǔn)椒▌t，對ci

sign() ii的求導(dǎo)是：

k

||)c

i i k所以，權(quán)值ci

i k k i k最終的梯度是inception模型：

Enci

Enci

ciGoogLeNet出來之前，大家的主流——過擬合和計算量的增加。化的，稀疏矩陣雖然數(shù)據(jù)量少，但是所耗的時間卻是很難缺少。矩陣優(yōu)化的東風(fēng)。Inception就是在這樣的狀況下應(yīng)運(yùn)而生。pooling也是CNN成功的緣由之一，所以把pooling也算到了里面，然后將結(jié)果在拼起Inception。到特征，因而層級越高，卷積核的數(shù)目就應(yīng)當(dāng)增加。1×1，3×3，5×5只是隨便想出來的，不是必需這樣。Inception，還有一個問題，由于全部的卷積核都在上一層的NINInception。NIN構(gòu)造中非線性變換的強(qiáng)大表達(dá)力量。大大削減，由于四個分支之間是不需要做計算的。再同時，還具有不同的視野尺度，由于不同尺寸的卷積核和pooling是在一起使用的。GoogLeNet的模型參數(shù)具體如下：inception模型就是在這樣的背景下產(chǎn)生的，這里只是簡潔介紹其原理，后期