第一章深度學(xué)習(xí)導(dǎo)論

第一章：

深度學(xué)習(xí)導(dǎo)論主講人：學(xué)習(xí)目標(biāo)1．深度學(xué)習(xí)的基本概念2．深度學(xué)習(xí)與人工智能、機(jī)器學(xué)習(xí)、回歸分析之間的聯(lián)系與區(qū)別3．深度學(xué)習(xí)的發(fā)展歷程4．深度學(xué)習(xí)擅長(zhǎng)的領(lǐng)域機(jī)器學(xué)習(xí)、深度學(xué)習(xí)與人工智能PART1.11.1.1機(jī)器學(xué)習(xí)機(jī)器學(xué)習(xí)（MachineLearning）是指如果一個(gè)程序可以在任務(wù)T上，隨著經(jīng)驗(yàn)E的增加，效果P也可以隨之增加，則稱這個(gè)程序可以從經(jīng)驗(yàn)中學(xué)習(xí)。這一定義由卡內(nèi)基梅隆大學(xué)（CarnegieMellonUniversity）的湯姆·邁克爾·米切爾（TomMichaelMitchell）教授在其1997年出版的《MachineLearning（機(jī)器學(xué)習(xí)）》一書中提出。機(jī)器學(xué)習(xí)的分類監(jiān)督學(xué)習(xí)（SupervisedLearning）是指從已標(biāo)注的訓(xùn)練數(shù)據(jù)中學(xué)習(xí)判斷數(shù)據(jù)特征，并將其用于對(duì)未標(biāo)注數(shù)據(jù)的判斷的一種方法。無(wú)監(jiān)督學(xué)習(xí)（UnsupervisedLearning）不同于監(jiān)督學(xué)習(xí)，它的學(xué)習(xí)算法是從沒(méi)有標(biāo)注的訓(xùn)練數(shù)據(jù)中學(xué)習(xí)數(shù)據(jù)的特征。1.1.2深度學(xué)習(xí)深度學(xué)習(xí)（DeepLearning）是一個(gè)復(fù)雜的機(jī)器學(xué)習(xí)算法，它的概念源于人工神經(jīng)網(wǎng)絡(luò)的研究，強(qiáng)調(diào)從連續(xù)的層（Layer）中學(xué)習(xí)。其中“深度”在某種意義上是指神經(jīng)網(wǎng)絡(luò)的層數(shù)，而“學(xué)習(xí)”是指訓(xùn)練神經(jīng)網(wǎng)絡(luò)的過(guò)程。深度學(xué)習(xí)與機(jī)器學(xué)習(xí)的區(qū)別二者提取特征的方式不同：深度學(xué)習(xí)具備自動(dòng)提取抽象特征的能力，機(jī)器學(xué)習(xí)大多是手動(dòng)選取特征和構(gòu)造特征。1.1.3機(jī)器學(xué)習(xí)、深度學(xué)習(xí)與人工智能的關(guān)系人工智能（ArtificialIntelligence，AI）是一個(gè)主要研究如何制造智能機(jī)器或智能系統(tǒng)，借以模擬人類的智能活動(dòng)，從而延伸人類智能的科學(xué)。人工智能、機(jī)器學(xué)習(xí)和深度學(xué)習(xí)之間的關(guān)系可以用下圖說(shuō)明。1.1.3機(jī)器學(xué)習(xí)、深度學(xué)習(xí)與人工智能的關(guān)系人工智能的本質(zhì)

1.1.3機(jī)器學(xué)習(xí)、深度學(xué)習(xí)與人工智能的關(guān)系Data

hungry!和傳統(tǒng)機(jī)器學(xué)習(xí)區(qū)別在哪里深度學(xué)習(xí)與回歸分析PART1.21.2.1回歸分析理論框架

1.2.2深度學(xué)習(xí)與回歸分析的關(guān)系

通過(guò)人臉猜測(cè)年齡和性別圖像以像素的形式存儲(chǔ)，像素越多，圖像包含的信息越多，也就越清晰。這是一個(gè)1

024像素×1

024像素×3的原圖，說(shuō)明這張圖像由3個(gè)1

048

576像素的矩陣組成，每個(gè)像素矩陣以1

024行1

024列的形式排列。

深度學(xué)習(xí)發(fā)展歷程PART1.31.3深度學(xué)習(xí)的發(fā)展歷程第一階段：萌芽期（20世紀(jì)40年代～80年代）1943年，美國(guó)神經(jīng)生理學(xué)家沃倫·麥卡洛克（WarrenMcCulloch）和數(shù)學(xué)家沃爾特·皮茲（WalterPitts）通過(guò)對(duì)生物神經(jīng)元建模，首次提出了人工神經(jīng)元模型，該模型被稱為M-P模型。第二階段：發(fā)展期（20世紀(jì)90年～2011年）20世紀(jì)80年代，羅森?布拉特提出的適用多層感知機(jī)的反向傳播算法（BackPropagation，BP）解決了線性不可分問(wèn)題，引起了神經(jīng)網(wǎng)絡(luò)的第二次熱潮。BP算法的提出使得神經(jīng)網(wǎng)絡(luò)的訓(xùn)練變得簡(jiǎn)單可行。到了1989年，被稱為卷積神經(jīng)網(wǎng)絡(luò)之父的楊立昆（YannLeCun）利用BP算法訓(xùn)練多層神經(jīng)網(wǎng)絡(luò)并將其用于識(shí)別手寫郵政編碼，這個(gè)工作可以認(rèn)為是卷積神經(jīng)網(wǎng)絡(luò)（ConvolutionalNeuralNetwork，CNN）的開山之作。第三階段：爆發(fā)期（2011年至今）2012年Hinton課題組構(gòu)建了AlexNet。2014年，由牛津大學(xué)VGG（VisualGeometryGroup）提出的VGG-Net獲得ImageNet競(jìng)賽定位任務(wù)的第一名和分類任務(wù)的第二名，同年分類任務(wù)的第一名則是被Google的Inception網(wǎng)絡(luò)奪得。2015年，ResNet橫空出世，在ILSVRC和COCO大賽上獲得冠軍。2017年，Google提出的移動(dòng)端模型MobileNet以及CVPR2017的DenseNet模型在模型復(fù)雜度以及預(yù)測(cè)精度上又做了很多貢獻(xiàn)。1.3深度學(xué)習(xí)的發(fā)展歷程深度學(xué)習(xí)擅長(zhǎng)的領(lǐng)域PART1.41.4深度學(xué)習(xí)擅長(zhǎng)的領(lǐng)域圖像處理（ImageProcessing）：用計(jì)算機(jī)對(duì)圖像進(jìn)行分析，以達(dá)到所需結(jié)果的技術(shù)。圖像分類目標(biāo)檢測(cè)圖像分割語(yǔ)音識(shí)別：讓機(jī)器通過(guò)識(shí)別和理解語(yǔ)音信號(hào)，將語(yǔ)音轉(zhuǎn)換為相應(yīng)的文本或命令的技術(shù)。自然語(yǔ)言處理：讓計(jì)算機(jī)具備處理、理解和運(yùn)用人類語(yǔ)言的能力。文本分類情感分析機(jī)器翻譯棋牌競(jìng)技：視頻處理：在計(jì)算機(jī)上播放和錄制視頻后，將家庭電影復(fù)制到計(jì)算機(jī)，然后使用視頻和音頻剪輯工具進(jìn)行編輯、剪輯，增加一些很普通的特效效果，使視頻的觀賞性增強(qiáng)的技術(shù)。1.4深度學(xué)習(xí)擅長(zhǎng)的領(lǐng)域圖像處理-目標(biāo)檢測(cè)圖像處理-圖像分割圖像處理-風(fēng)格遷移語(yǔ)音識(shí)別1.4深度學(xué)習(xí)擅長(zhǎng)的領(lǐng)域深度學(xué)習(xí)：遠(yuǎn)非人工智能的全部安裝TensorFlowPART1.51.5深度學(xué)習(xí)擅長(zhǎng)的領(lǐng)域TensorFlow由Google開發(fā)并開源，是一個(gè)采用計(jì)算圖（ComputationalGraphs）來(lái)計(jì)算數(shù)值的開源軟件庫(kù)，它也是目前使用最廣泛的實(shí)現(xiàn)機(jī)器學(xué)習(xí)及其他涉及大量數(shù)學(xué)運(yùn)算的算法庫(kù)之一。Keras則是現(xiàn)在非常流行的深度學(xué)習(xí)模型開發(fā)框架，是用Python編寫的，語(yǔ)法簡(jiǎn)潔，封裝程度高，只需十幾行代碼就可以構(gòu)建一個(gè)深度神經(jīng)網(wǎng)絡(luò)，其中Keras大部分功能已經(jīng)并入Tensorflow框架中。硬件環(huán)境準(zhǔn)備使用CPU訓(xùn)練使用GPU訓(xùn)練使用云端GPU訓(xùn)練（推薦）軟件環(huán)境準(zhǔn)備：TensorFlow最簡(jiǎn)便的安裝方法是使用Anaconda，接下來(lái)將默認(rèn)使用Anaconda作為TensorFlow的Python環(huán)境1.5安裝TensorFlow在Anaconda環(huán)境下，安裝TensorFlow及Keras軟件包，步驟如下：在命令行輸入condainstalltensorflow-gpu（或者condainstalltensorflow），其中，輸入tensorflow-gpu會(huì)自動(dòng)安裝CUDA等GPU依賴驗(yàn)證是否正確安裝環(huán)境并可以使用GPU加速計(jì)算。在命令行輸入python，并輸入以下測(cè)試語(yǔ)句。下面通過(guò)一段簡(jiǎn)單的Python代碼演示如何使用TensorFlow。安裝Keras(用來(lái)快速創(chuàng)建深度學(xué)習(xí)模型的Python類庫(kù))只需在命令行輸入：1.5安裝TensorFlow使用JupyterNotebook運(yùn)行深度學(xué)習(xí)JupyterNotebook是一款基于網(wǎng)頁(yè)的用于交互計(jì)算的應(yīng)用程序，可應(yīng)用于全過(guò)程計(jì)算：開發(fā)、文檔編寫、運(yùn)行代碼和展示結(jié)果。啟動(dòng)方法：Anaconda直接啟動(dòng)在服務(wù)器終端輸入以下命令啟動(dòng)JupyterNotebook網(wǎng)頁(yè)版：jupyternotebook網(wǎng)頁(yè)啟動(dòng)界面課后習(xí)題通過(guò)對(duì)本章的學(xué)習(xí)，你認(rèn)為深度學(xué)習(xí)崛起的原因有哪些？深度學(xué)習(xí)與機(jī)器學(xué)習(xí)的區(qū)別是什么？除了本章提到的深度學(xué)習(xí)擅長(zhǎng)的領(lǐng)域