datasimp106深度學(xué)習(xí)基本概念框架及90個(gè)詞條

深度學(xué)習(xí)的基本概念框架及90簡(jiǎn)介90(文末“閱讀原文”可字“數(shù)據(jù)簡(jiǎn)化DataSimp”關(guān)注后，下方菜單項(xiàng)有文章分類頁。作者 。來源：網(wǎng)絡(luò)圖文，引文出處請(qǐng)看參考文獻(xiàn)術(shù)科普文章，公開資料 、公司倒賣公民。歡迎轉(zhuǎn)發(fā)。、號(hào)號(hào)等人身數(shù)據(jù)！ 各專業(yè)領(lǐng)域一線研究員；研究技術(shù)時(shí) 深度學(xué)習(xí)的基本概念框架及90個(gè)基本概念詞條(15810字 機(jī)器學(xué)問題闡述(6166字 參考文獻(xiàn)(461字 Appx(625字).數(shù)據(jù)簡(jiǎn)化DataSimp社區(qū)簡(jiǎn) 深度學(xué)習(xí)的基本概念框架及90個(gè)基本概念詞條(15810【數(shù)據(jù)簡(jiǎn)化DataSimp導(dǎo)讀深度學(xué)習(xí)的基本概念90個(gè)基本概念詞條：神經(jīng)元（Neuron）、權(quán)重（Weights、偏差（Bias）、激活函數(shù)（ActivationFunction）、輸入/輸出/隱藏層（InputOutputHiddenLayer）……，你深度學(xué)習(xí)的基本概念框架(2215深度學(xué)習(xí)（DeepLearning）又叫UnsupervisedFeatureLearning，F(xiàn)eatureLearning，DeepStructural學(xué)習(xí)的方法，其概念源自人工神經(jīng)網(wǎng)絡(luò)研究，2006Hinton等人提出，通過組合低層特征形成更加抽象的表示屬性類別或特征，以發(fā)現(xiàn)數(shù)據(jù)的分布式特征表示。Lecun等人卷積神經(jīng)網(wǎng)絡(luò)度置信網(wǎng)（DeepBeliefNets，簡(jiǎn)稱DBNs）是一種無監(jiān)督學(xué)習(xí)下的機(jī)器學(xué)習(xí)模型。深度學(xué)習(xí)的基本概念框架，“深度學(xué)習(xí)”的基本思想： ；離散變量多的數(shù)據(jù)集建模一般是“決策樹”的相關(guān)模型要優(yōu)于SVM，而“SVM+徑向基函數(shù)”幾乎總是優(yōu)于3層“BP神經(jīng)網(wǎng)絡(luò)”，“隨機(jī)森林”的穩(wěn)定性最好等等，至于建模時(shí)具體參數(shù)可以多試。據(jù)預(yù)處理和分類預(yù)測(cè)。不同任務(wù)背景下圖像分類(imageclassification)問題是指,假設(shè)給定一系列度學(xué)習(xí)的特點(diǎn)在于：數(shù)據(jù)預(yù)處理和分類預(yù)測(cè)是“”的，分類器參數(shù)在進(jìn)行樣本訓(xùn)練時(shí)，同時(shí)會(huì)+基于梯度下降最優(yōu)化BP特征提取理是分類器的前置流程，分類器的訓(xùn)練過程據(jù)程手做調(diào)，如生個(gè)變什、一的積濾的。98%-99.5%，96%的成績(jī)。深度學(xué)習(xí)號(hào)稱“特征提取自動(dòng)化”，但還是有一些參數(shù)是需要建模人員指定的，比如網(wǎng)絡(luò)結(jié)構(gòu)、卷積的大小，POOLLING設(shè)計(jì)等等。深度學(xué)習(xí)中為避免出現(xiàn)過擬合（Overfitting），通常需要輸入充足的數(shù)據(jù)量，要記錄下常用的數(shù)據(jù)增強(qiáng)（DataAugmentation）建模訓(xùn)練能進(jìn)行嫁接。不過，國(guó)內(nèi)教授提出一種基于決策樹的深度學(xué)習(xí)，效果如何有待時(shí)間檢驗(yàn)。機(jī)器學(xué)習(xí)的分類：如果輸出 categorical，問題又可稱為分類或者模式識(shí)別如果輸出為實(shí)數(shù)（real-valued），問題則被稱為回歸型問題 neurons：輸入層，輸出層linearornon-a=(??a??1+b?)（線性變換，非線性激勵(lì)(?)：S型函數(shù)的定義所在，這一步轉(zhuǎn)換又是非線性的層）3層更大，是5，參照其英文表述，their（m+1）receptivefieldwithrespecttothelayerbelow（m層）is3，buttheir（m+1）receptivefieldwithrespecttotheinput（m-1）islarger（5）。時(shí)的機(jī)器學(xué)習(xí)有個(gè)更合適的名字叫featureengineering。利用神經(jīng)網(wǎng)絡(luò)，讓網(wǎng)絡(luò)自己學(xué)習(xí)如何抓取feature效果更佳。于是興起了representationendtoend的好處：通過縮減人工預(yù)處理和后續(xù)處理，盡可能使模型從原始輸入到最終輸出，給模型可以根據(jù)數(shù)據(jù)自動(dòng)調(diào)節(jié)的空間，增加模型的整體契合度。深度學(xué)習(xí)入門必須理解的90個(gè)基本概念詞條(7321▌1神經(jīng)元▌2權(quán)重▌3偏差果將看起來像a*W1+偏差。這是輸入變換的最終線性分量。▌4函數(shù)（Activation激活函數(shù)（ActivationFunction）——一旦將線性分量應(yīng)用于輸入，將會(huì)需要應(yīng)用一個(gè)非線性數(shù)后的輸出看起來像f（a*W1+b），f（）就是激活函數(shù)。在下圖中，“n”個(gè)輸入給定為X1到Xn而與其相應(yīng)的權(quán)重為Wk1到Wkn。我們有一個(gè)給定bku。U=ΣW*X+u，f(u)，ykf（u）Sigmoid，ReLUSigmoid，的形式很簡(jiǎn)單優(yōu)美）的函數(shù)來對(duì)網(wǎng)絡(luò)層2的輸出值再進(jìn)行一遍運(yùn)算呢？配給8，依此類推……▌5經(jīng)網(wǎng)絡(luò)（Neural神經(jīng)網(wǎng)絡(luò)（NeuralNetwork）——神經(jīng)網(wǎng)絡(luò)構(gòu)成了深度學(xué)習(xí)的支柱。神經(jīng)網(wǎng)絡(luò)的目標(biāo)是找到一個(gè)未知函數(shù)的近似值。它由相互聯(lián)系的神經(jīng)元形成。這些神經(jīng)元具重和在網(wǎng)絡(luò)訓(xùn)練期間根據(jù)錯(cuò)誤來▌6輸出/隱藏層（InputOutputHidden輸入/輸出/隱藏層（Input/Output/HiddenLayer）——正如它們名字所代表的那樣，輸入▌7多層感知器 （Forward正向（ForwardPropagation）——正 是指輸入通過隱藏層到輸出層的運(yùn)動(dòng)。在正▌9本函數(shù)（Cost成本函數(shù)（CostFunction）——當(dāng)我們建立一個(gè)網(wǎng)絡(luò)時(shí)，網(wǎng)絡(luò)試圖將輸出預(yù)測(cè)得盡可能靠近實(shí)C=1/m∑(y–a)^2，▌10度下降（Gradient梯度下降（GradientDescent）——梯度下降是一種最小化成本的優(yōu)化算法。要直觀地想，是，如果我們從一個(gè)點(diǎn)x開始，我們向下移動(dòng)一點(diǎn)，即Δh，并將我們的位置更新為x-Δh，并且我們▌11習(xí)率（Learning學(xué)習(xí)率（LearningRate）——學(xué)習(xí)率被定義為每次迭代中成本函數(shù)中最小化的量。簡(jiǎn)單來說，▌▌12反梯度一起反饋給網(wǎng)絡(luò)以更新網(wǎng)絡(luò)的權(quán)重。最后更新這些權(quán)重，以便減少后續(xù)迭代中的錯(cuò)誤。使用成 在反 ▌13批次批次（Batches）——在訓(xùn)練神經(jīng)網(wǎng)絡(luò)的同時(shí)，不用一次發(fā)送整個(gè)輸入，輸入分成幾個(gè)隨▌14周期▌15丟棄丟棄（Dropout）——Dropout是一種正則化技術(shù)，可防止網(wǎng)絡(luò)過度擬合套。顧名思義，在訓(xùn)練期間，▌16量歸一化（Batch批量歸一化（BatchNormalization）——作為一個(gè)概念，批量歸一化可以被認(rèn)為是我們?cè)诤恿鳕?7濾波器化的反向期間，濾波器值被更新為重量值。▌18卷積神經(jīng)網(wǎng)絡(luò)卷積神經(jīng)網(wǎng)絡(luò)（CNN）——卷積神經(jīng)網(wǎng)絡(luò)基本上應(yīng)用于圖像數(shù)據(jù)。假設(shè)我們有一個(gè)輸入的大小*28*3），2352（28*28*3）參數(shù)。并且隨著圖像的大小▌19池化池化（Pooling）MAX（2,2）4*4▌▌20填充▌21據(jù)增強(qiáng)（Data數(shù)據(jù)增強(qiáng)（DataAugmentation）——數(shù)據(jù)增強(qiáng)是指從給定數(shù)據(jù)導(dǎo)出的新數(shù)據(jù)的添加，這可能被▌22環(huán)神經(jīng)元（Recurrent循環(huán)神經(jīng)元（RecurrentNeuron）——循環(huán)神經(jīng)元是在T時(shí)間內(nèi)將神經(jīng)元的輸出發(fā)送回給它。如果你看圖，輸出將返回輸入t次。展開的神經(jīng)元看起來像連接在一起的t個(gè)不同的神經(jīng)元。這個(gè)神經(jīng)元▌23循環(huán)神經(jīng)網(wǎng)絡(luò)然后根據(jù)展開的網(wǎng)絡(luò)將錯(cuò)誤反向以更新權(quán)重。這被稱為通過時(shí)間的反向（BPTT）▌24梯度問題（VanishingGradient梯度問題（VanishingGradientProblem）——激活函數(shù)的梯度非常小的情況下會(huì)出梯度問題。在權(quán)重乘以這些低梯度時(shí)的反向過程中，它們往往變得非常小，并且隨著網(wǎng)絡(luò)進(jìn)一步深入而“”。這使得神經(jīng)網(wǎng)絡(luò)忘記了長(zhǎng)距離依賴。這對(duì)循環(huán)神經(jīng)網(wǎng)絡(luò)來說是一個(gè)問題，長(zhǎng)期依賴▌25增梯度問題（ExplodingGradient激增梯度問題（ExplodingGradientProblem）——這與的梯度問題完全相反，激活函數(shù)的梯▌26深度置信網(wǎng)絡(luò)（DeepBeliefNets，簡(jiǎn)稱的神經(jīng)網(wǎng)絡(luò)相對(duì)，生成模型是建立一個(gè)觀察數(shù)據(jù)和之間的聯(lián)合分布，對(duì)P(Observation|Label)和P(Label|Observation)都做了評(píng)估，而判別模型僅僅而已評(píng)估了后者，也就是P(Label|Observation)。DBNs的靈活性使得它的拓展比較容易。一個(gè)拓展就是卷積DBNs（ConvolutionalDeepBelief的模型區(qū)達(dá)到生成模型的變換不變性，而且可以容易得變換到高維圖像。DBNs并沒有明確地處理對(duì)目前，和DBNs有關(guān)的研究包括堆疊自動(dòng)編，它是通過用堆疊自動(dòng)編來替換傳統(tǒng)DBNs化的嚴(yán)格要求。與DBNs不同，自動(dòng)編使用判別模型，這樣這個(gè)結(jié)構(gòu)就很難采樣輸入采樣空間，器的過程和RBMs訓(xùn)練生成模型的過程一樣。▌27標(biāo)量（Scalar）、向量線性代數(shù)中，標(biāo)量（Scalar）是一個(gè)實(shí)數(shù)，向量（Vector）是指n個(gè)實(shí)數(shù)組成的有序數(shù)組，稱a,b,c量：一個(gè)數(shù)組中的元素分布在若干維坐標(biāo)的規(guī)則網(wǎng)格中，稱之為張量（tensfor）。比如張量AA中坐▌28矩陣矩陣▌29導(dǎo)數(shù)（Differentialcoefficient）導(dǎo)數(shù)法則、鏈?zhǔn)椒▌t導(dǎo)數(shù)（Differentialcoefficient）鏈?zhǔn)椒▌t▌30概率論（Probabilitytheroy）信息支持度(Support)的公式是：Support(A->B)=P(AUB)。支持AB時(shí)出現(xiàn)的概率。如果A與B同時(shí)出現(xiàn)的概率小，說明A與B的關(guān)系不大；如果A與B同時(shí)出現(xiàn)的非常頻繁，則說明A與B總是相關(guān)的。置信度(Confidence)的公式是：Confidence(A->B)=P(A|B)。置信度揭示了A出現(xiàn)時(shí)，B是否也會(huì)出現(xiàn)或有多大概率出現(xiàn)。如果置信度度為100%，則A和B可以銷售了。如果置信度太低，則說明A的出現(xiàn)與B是否出現(xiàn)關(guān)系不大。1▌機(jī)器學(xué)習(xí)（machinelearning）其他30個(gè)主要技術(shù)概念123數(shù)據(jù)集（dataset）：一組記錄的合集23454567678屬性值（attributevalue）：89屬性空間（attributespace）：屬性張成的空間9

訓(xùn)練樣本（trainingsample）:訓(xùn)練用到的每個(gè)樣本訓(xùn)練集（trainingset）：訓(xùn)練樣本組成的集合標(biāo)記空間/輸出空間（labelspace）：二分類（binaryclassification）：只涉及兩個(gè)類別的分類任務(wù)正類（positiveclass）：反類（negativeclass）：多分類（multi-classclassification）：測(cè)試樣本（testingsample）：被預(yù)測(cè)的樣本監(jiān)督學(xué)習(xí)（supervisedlearning）：典范--分類和回歸無監(jiān)督學(xué)習(xí)（unsupervisedlearning）：未見示例（unseeninstance）：“新樣本“，沒訓(xùn)練過的樣本123123負(fù)采樣454567正則化、稀疏編碼和dropout678899LSTM softmaxKNN有限機(jī)機(jī)器問題闡述(6166▌一、機(jī)器學(xué)習(xí)問題的組成老師《統(tǒng)計(jì)機(jī)器學(xué)習(xí)》中：機(jī)器學(xué)習(xí)=模型+策略+算法。其實(shí)機(jī)器學(xué)習(xí)可以表示為：Learning=Representation+Evalution+Optimization應(yīng)起來。機(jī)器學(xué)習(xí)主要是由三部分組成，即：表示(模型)、評(píng)價(jià)(策略)和優(yōu)化(算法)。1、表示(或者稱為：模型)：2、評(píng)價(jià)(或者稱為：策略)：3、優(yōu)化(或者稱為：算法)：4、總▌二、什么是泛化能力為泛化能力(Generalizationability)，這是機(jī)器學(xué)習(xí)成功與否的一個(gè)很重要的評(píng)價(jià)指標(biāo)。同時(shí)，預(yù)1、cross-▌三、為什么僅有數(shù)據(jù)還不夠1、NoFreeLunch(NFL，沒有免費(fèi)的午2、關(guān)于假設(shè)3、有關(guān)演繹(Deduction)和歸納▌四、過擬合問題(Over-1、過擬合的含義2、對(duì)過擬合的理一種理解過擬合的方式是將泛化誤差分解成偏置(bias)和方差其中，noise3、過擬合的例子弱正確假設(shè)更好，因?yàn)楹笳咝枰臄?shù)據(jù)才能避免過擬合。4、避免過擬合的方法以上的兩種方法在數(shù)據(jù)量比較小的時(shí)候還是比較有優(yōu)勢(shì)的，其叉驗(yàn)證有的時(shí)候也不能徹底解能。加上正則項(xiàng)的目的是懲罰那些包含結(jié)構(gòu)的分類器，去選擇較少結(jié)構(gòu)的分類器，起到降低過擬5、過擬合與數(shù)據(jù)噪聲的關(guān)系▌五、維 (Thecurseof1、維 的概 2、典型的例子征，最終導(dǎo)致K-NN是隨機(jī)預(yù)測(cè)3、帶來的問題及其解決辦有人認(rèn)為在機(jī)器學(xué)習(xí)問題中，特征越多越好，其實(shí)這就會(huì)引起維數(shù)的問題?！癰lessingofnon-uniformity”在一定程度上抵消了維數(shù)。▌六、理論VS實(shí)2、理論與實(shí)踐的關(guān)3、總▌七、特征工程1、特征的難點(diǎn)2、如何處理特征工程問題▌八、數(shù)據(jù)-多多益善Moredatabeatsacleavereralgorithm. 經(jīng)驗(yàn)上講databeatsacleavereralgorithm。但是，這樣就出現(xiàn)一個(gè)問題，的數(shù)據(jù)我們可以學(xué)習(xí)到更復(fù)雜的分類器，但是在實(shí)踐中，要學(xué)習(xí)到這樣復(fù)雜的分類器需要的時(shí)間，所以在很多情況下，3、機(jī)器學(xué)習(xí)的分類以及工作機(jī) 維 4、總▌九、多模型的融合1、三種集成模式2、Bagging和Boosting方法的比較3、Netflix比賽5、總FreeLunch”的一個(gè)表現(xiàn)。接下來，我也會(huì)寫點(diǎn)模型集成的實(shí)驗(yàn)。▌十、簡(jiǎn)單VS準(zhǔn)1、奧卡姆剃刀(Occam's2、機(jī)器學(xué)習(xí)中錯(cuò)誤的認(rèn)識(shí)上面的表述就是的。3、結(jié)▌十一、可表示VS可學(xué)1、可表示并不意味著可學(xué)習(xí)2、可表示與可學(xué)習(xí)之間的關(guān)系3、總▌十二、相關(guān)VS因AFewUsefulThingstoKnowaboutMachine-參考文獻(xiàn)(461 YoshuaBengio,LearningDeepArchitecturesforAI,FoundationsandTrendsinMachineLearning,2(1),IFT6266Bati'seHomeofTech．IntroductiontoDeepLearningAlgorithms．[EB/OL]Prfans．DeepLearning（深度學(xué)習(xí)）學(xué)習(xí)筆記整理．[EB/OL]，2013-09- null．機(jī)器學(xué)習(xí)的應(yīng)用——關(guān)于正確應(yīng)用機(jī)器學(xué)習(xí)．[EB/OL] B/OL]．?dāng)?shù)據(jù)簡(jiǎn)化Dat