深度學(xué)習(xí)中卷積神經(jīng)網(wǎng)絡(luò)的教學(xué)探討

PAGE2深度學(xué)習(xí)中卷積神經(jīng)網(wǎng)絡(luò)的教學(xué)探討

李睿凡1，陳佳潔2，周延泉1，王小捷1，鐘義信1

(1．北京郵電大學(xué)計(jì)算機(jī)學(xué)院，北京100876；2．河北省霸州市第四小學(xué)，河北霸州065700)

摘要：深度學(xué)習(xí)是智能科學(xué)與技術(shù)領(lǐng)域的最新突破性進(jìn)展，卷積神經(jīng)網(wǎng)絡(luò)是其中一個(gè)代表性工作。文章探討如何開(kāi)展卷積神經(jīng)網(wǎng)絡(luò)的教學(xué)工作，包括教學(xué)內(nèi)容的安排和教學(xué)內(nèi)容之外的考慮兩個(gè)方面，旨在將智能科學(xué)與技術(shù)的這一最新成果介紹給學(xué)生，使他們能較早接觸學(xué)科前沿，提升學(xué)習(xí)興趣，激發(fā)創(chuàng)新動(dòng)力。同時(shí)，也為廣大教師提供一些教學(xué)的思路和方法。

關(guān)鍵詞 ：智能科學(xué)與技術(shù)；深度學(xué)習(xí)；卷積神經(jīng)網(wǎng)絡(luò)；教學(xué)建議

第一作者簡(jiǎn)介：李睿凡，男，講師，研究方向?yàn)槎嗄B(tài)智能信息處理與深度學(xué)習(xí)，rflibupt．edu．cn。

1背景

當(dāng)前，智能科學(xué)與技術(shù)在國(guó)家經(jīng)濟(jì)與社會(huì)需求中的作用愈發(fā)重要。2021年3月2日，百度公司首席執(zhí)行官李彥宏在兩會(huì)提案中建議設(shè)立“中國(guó)大腦”計(jì)劃；智能家居、智慧城市等早已經(jīng)滲入普通大眾的生活中。從大學(xué)教育的角度，智能科學(xué)與技術(shù)專業(yè)是培養(yǎng)“智能”人才的重要基地，智能專業(yè)一級(jí)學(xué)科的設(shè)置也迫在眉睫。傳統(tǒng)的人工智能專業(yè)課程主要包括人工智能導(dǎo)論、模式分析、機(jī)器學(xué)習(xí)、數(shù)據(jù)挖掘等，其中通常涉及前向神經(jīng)網(wǎng)絡(luò)的教學(xué)內(nèi)容。但近些年，深度神經(jīng)網(wǎng)絡(luò)的發(fā)展使我們從事智能科學(xué)與技術(shù)一線教學(xué)和科研工作的教師面臨新的機(jī)遇與挑戰(zhàn)。特別值得注意的是，深度學(xué)習(xí)中的卷積神經(jīng)網(wǎng)絡(luò)的發(fā)展是深度學(xué)習(xí)中的一個(gè)亮點(diǎn)。卷積神經(jīng)網(wǎng)絡(luò)在圖像識(shí)別和語(yǔ)音語(yǔ)言處理等人工智能的眾多領(lǐng)域都取得了突破。

2021年，我們提出將深度學(xué)習(xí)引入智能科學(xué)與技術(shù)類專業(yè)課教學(xué)的建議，包括其必要性和可行性以及初步的實(shí)施建議。2021年，我們又探討在本科生和研究生課程中開(kāi)展深度學(xué)習(xí)的教學(xué)實(shí)施方案‘卅。在科研與教學(xué)的實(shí)踐中，我們體會(huì)到卷積神經(jīng)網(wǎng)絡(luò)是深度學(xué)習(xí)中非常重要的內(nèi)容，非常有必要將精彩的卷積神經(jīng)網(wǎng)絡(luò)基本內(nèi)容帶入課堂。

2卷積神經(jīng)網(wǎng)絡(luò)背景

2021年之前，人工神經(jīng)網(wǎng)絡(luò)的發(fā)展大致可以分為兩個(gè)時(shí)期。1943年，McCulloch和Pitts提出了最早的人工神經(jīng)元，這種神經(jīng)元具有學(xué)習(xí)的能力，這是人工神經(jīng)網(wǎng)絡(luò)的開(kāi)端，這一時(shí)期沿著單個(gè)神經(jīng)元研究其學(xué)習(xí)算法。1969年，Minsky和Papert分析了感知器神經(jīng)網(wǎng)絡(luò)模型的局限性，這使人工神經(jīng)網(wǎng)絡(luò)的研究很快暗淡下來(lái)。80年代中期，諾貝爾獎(jiǎng)得主JohnHopfield提出了Hopfield神經(jīng)網(wǎng)絡(luò)模型，這種Recurrent神經(jīng)網(wǎng)絡(luò)具有的動(dòng)態(tài)性有可能用于解決復(fù)雜的問(wèn)題。同一時(shí)期，多層前向神經(jīng)網(wǎng)絡(luò)的反向傳播算法(Back-propagation)也被重新發(fā)現(xiàn)。這兩個(gè)工作使人工神經(jīng)網(wǎng)絡(luò)得到重生。這時(shí)，人工神經(jīng)網(wǎng)絡(luò)已經(jīng)成為人工智能的一個(gè)重要組成部分，但隨后的研究由于更多層神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)的失效而再次陷入低潮。文獻(xiàn)[5]對(duì)神經(jīng)網(wǎng)絡(luò)的研究給出了全面的總結(jié)。

2021年，神經(jīng)網(wǎng)絡(luò)領(lǐng)域的大師GeoffreyHinton教授與其博士生Salakhutdinov博士發(fā)表了題為ReducingtheDimensionalityofDatawithNeuralNetworks的論文。該文提出一種學(xué)習(xí)多層神經(jīng)網(wǎng)絡(luò)的方法，并將這種具有多層結(jié)構(gòu)學(xué)習(xí)的方法命名為深度學(xué)習(xí)(DeepLearning)。以深層神經(jīng)網(wǎng)絡(luò)為代表的深度學(xué)習(xí)登上學(xué)術(shù)與工業(yè)的舞臺(tái)，其中一個(gè)重要因素是Hinton教授提出的逐層預(yù)訓(xùn)練神經(jīng)網(wǎng)絡(luò)方法治愈了訓(xùn)練多層神經(jīng)網(wǎng)絡(luò)的一個(gè)致命傷。

2021年，Hinton教授的研究團(tuán)隊(duì)參加了斯坦福大學(xué)Fei-FeiLi教授等組織的ImageNetILSVRC大規(guī)模圖像識(shí)別評(píng)測(cè)任務(wù)。該任務(wù)包括120萬(wàn)張高分辨率圖片，共包含1000個(gè)類比。Hinton教授團(tuán)隊(duì)使用了多層卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，取得了突破性進(jìn)展，將識(shí)別錯(cuò)誤率從26.2%降低到15.3%。這一比賽結(jié)果破除了計(jì)算機(jī)視覺(jué)領(lǐng)域的大師、美國(guó)加州大學(xué)伯克利分校的JitendraMalik教授對(duì)深度學(xué)習(xí)大規(guī)模實(shí)際應(yīng)用的質(zhì)疑。同時(shí)，它也加速了神經(jīng)網(wǎng)絡(luò)深度學(xué)習(xí)從學(xué)術(shù)研究躍人工業(yè)應(yīng)用，為神經(jīng)網(wǎng)絡(luò)打開(kāi)了更為廣闊的前景。

在最近5年的多個(gè)國(guó)際頂尖學(xué)術(shù)會(huì)議(AAAI，ICML、NIPS，CVPR，MM)都有涉及深度學(xué)習(xí)的主題會(huì)議或研討會(huì)。工業(yè)界也發(fā)生了一系列事件。2021年5月，斯坦福大學(xué)的AndrewNg加盟公司并領(lǐng)導(dǎo)深度學(xué)習(xí)的研究與應(yīng)用。2021年8月，卷積神經(jīng)網(wǎng)絡(luò)的主要發(fā)明者YannLeCun教授加盟Facebook公司。2021年3月16日，馬云在德國(guó)CeBIT博覽會(huì)上為嘉賓從淘寶網(wǎng)購(gòu)買1948年漢諾威紀(jì)念郵票，演示了以多層神經(jīng)網(wǎng)絡(luò)為核心技術(shù)的螞蟻金服的SmiletoPay掃臉技術(shù)。國(guó)際知名的互聯(lián)網(wǎng)公司都參與到深度學(xué)習(xí)的學(xué)術(shù)研究和技術(shù)應(yīng)用中。

3教學(xué)內(nèi)容編排

在文獻(xiàn)[4]中，我們已經(jīng)討論了關(guān)于研究生深度學(xué)習(xí)課程教學(xué)的內(nèi)容，但對(duì)卷積神經(jīng)網(wǎng)絡(luò)的內(nèi)容強(qiáng)調(diào)得不夠充分。因此，我們建議如果條件容許，可以擴(kuò)大卷積神經(jīng)網(wǎng)絡(luò)教學(xué)內(nèi)容，甚至采用專題教學(xué)的形式。同時(shí)，我們認(rèn)為研究生階段的教學(xué)目標(biāo)主要是使學(xué)生掌握基本而深入的知識(shí)，從而對(duì)感興趣的領(lǐng)域提出研究建議，并采取合理的方法完成研究?jī)?nèi)容并撰寫(xiě)研究報(bào)告。

基于以上目標(biāo)，研究生課程（含36學(xué)時(shí)）主要涵蓋3部分內(nèi)容：機(jī)器學(xué)習(xí)基礎(chǔ)、神經(jīng)網(wǎng)絡(luò)基礎(chǔ)、神經(jīng)網(wǎng)絡(luò)研究論文討論。第一部分的機(jī)器學(xué)習(xí)基礎(chǔ)知識(shí)部分（6學(xué)時(shí)）主要讓學(xué)生從零起點(diǎn)順利過(guò)度到這門課程。教師講解機(jī)器學(xué)習(xí)的基本目標(biāo)和方法、線性分類器和支持向量機(jī)、主成分分析和線性判別分析。第二部分的神經(jīng)網(wǎng)絡(luò)知識(shí)部分（8學(xué)時(shí)）主要包括前向神經(jīng)網(wǎng)絡(luò)及后傳算法和卷積神經(jīng)網(wǎng)絡(luò)、卷積網(wǎng)絡(luò)結(jié)構(gòu)的卷積層和抽取層、卷積神經(jīng)網(wǎng)絡(luò)的理解和可視化?？紤]到神經(jīng)網(wǎng)絡(luò)的實(shí)踐性，我們特別安排神經(jīng)網(wǎng)絡(luò)的優(yōu)化和調(diào)試內(nèi)容。第三部分主要是學(xué)生閱讀講解和師生互動(dòng)的論文研討部分。此部分進(jìn)一步劃分為4個(gè)單元，主要包括受限波爾茲曼機(jī)及其擴(kuò)展、自動(dòng)編碼器及其擴(kuò)展、多模態(tài)和計(jì)算機(jī)視覺(jué)的典型應(yīng)用。

除理論教學(xué)環(huán)節(jié)之外，該課程強(qiáng)調(diào)學(xué)以致用。因此，我們給出兩部分內(nèi)容：一個(gè)是基本實(shí)驗(yàn)項(xiàng)目，主要包括基本的分類器的使用，如最近鄰分類器、支持向量機(jī)分類器等，重點(diǎn)強(qiáng)調(diào)卷積神經(jīng)網(wǎng)絡(luò)的訓(xùn)練和應(yīng)用實(shí)驗(yàn)；另一個(gè)是強(qiáng)調(diào)如何將卷積神經(jīng)網(wǎng)絡(luò)方法用于解決實(shí)際問(wèn)題。前兩部分講解完成之后，教師提出具體的研究建議，安排2～3名學(xué)生形成一個(gè)小組，請(qǐng)他們自己提出可能的講解問(wèn)題，確定一個(gè)研究主題，寫(xiě)出研究建議書(shū)，完成研究，寫(xiě)出研究報(bào)告，并在課程的最后，分小組匯報(bào)研究情況。

4教學(xué)內(nèi)容之外的考慮

除教學(xué)內(nèi)容之外，還有一些值得考慮的與卷積神經(jīng)網(wǎng)絡(luò)相關(guān)的問(wèn)題。我們主要考慮了如下3個(gè)方面。

(1)興趣是最好的老師，對(duì)于卷積神經(jīng)網(wǎng)絡(luò)的教學(xué)也不例外。如何激發(fā)學(xué)生的興趣是教師備課時(shí)應(yīng)該考慮的一個(gè)問(wèn)題。筆者的思路是在課堂教學(xué)中引入有趣的相關(guān)話題。近期的兩個(gè)事件令人矚目，可以用來(lái)引導(dǎo)學(xué)生。其一，2021年3月16日，在德國(guó)舉辦的漢諾威消費(fèi)電子、信息及通信博覽會(huì)(CeBIT)上，阿里巴巴集團(tuán)董事局主席馬云先生為嘉賓從淘寶網(wǎng)購(gòu)買了1948年漢諾威紀(jì)念郵票，演示了螞蟻金服和Face++Financial的微笑支付(SmiletoPay)掃臉技術(shù)，這項(xiàng)技術(shù)改變了傳統(tǒng)的采用密碼認(rèn)證的購(gòu)物方式；其二，2021年3月，斯坦福大學(xué)人工智能實(shí)驗(yàn)室主任Fei-FeiLi,在TED大會(huì)上作題為“當(dāng)今計(jì)算機(jī)科學(xué)家如何教計(jì)算機(jī)理解圖像”的主題報(bào)告，她的報(bào)告試圖傳達(dá)一個(gè)信息：人工智能和計(jì)算機(jī)視覺(jué)的重要前沿進(jìn)展之一。這兩個(gè)事件，一個(gè)是信息產(chǎn)業(yè)界的大事記，另一個(gè)是技術(shù)思想普及教育的大事記。兩者都涉及深度學(xué)習(xí)中的卷積神經(jīng)網(wǎng)絡(luò)，說(shuō)明卷積神經(jīng)網(wǎng)絡(luò)無(wú)論在產(chǎn)業(yè)應(yīng)用和科學(xué)前沿都吸引了廣大的技術(shù)實(shí)踐者和科學(xué)探索者。

(2)教學(xué)過(guò)程是教師與學(xué)生溝通以建立共同語(yǔ)言的過(guò)程。教師如何使用恰當(dāng)?shù)纳钫Z(yǔ)言輔助專業(yè)技術(shù)的交流，能夠很好地起到寓教于樂(lè)的作用。筆者在上一節(jié)已經(jīng)談及卷積神經(jīng)網(wǎng)絡(luò)的引子事件，對(duì)于以上兩個(gè)事件的描述，可以用時(shí)下的網(wǎng)絡(luò)用語(yǔ)“高富帥”和“白富美”來(lái)夸張地形容事件中的兩位主角，以學(xué)生的語(yǔ)言給出卷積神經(jīng)網(wǎng)絡(luò)發(fā)展歷程上的有趣描述，能夠容易建立師生的共同語(yǔ)言。

(3)調(diào)動(dòng)學(xué)生的好奇心能有效地讓學(xué)生進(jìn)入良好的學(xué)習(xí)狀態(tài)，從而產(chǎn)生內(nèi)在驅(qū)動(dòng)力。通過(guò)以兩個(gè)事件為引子的課堂導(dǎo)人，學(xué)生產(chǎn)生興趣，對(duì)于卷積神經(jīng)網(wǎng)絡(luò)，可以使用LeNet的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)圖，標(biāo)注數(shù)字和卷積的關(guān)鍵詞 等信息。這樣的繪圖必然讓學(xué)生產(chǎn)生好奇心，讓他們期望明白其中的含義，也很想搞清楚這樣復(fù)雜的網(wǎng)絡(luò)是如何工作并取得競(jìng)賽排名第一的結(jié)果。另外一個(gè)有效的刺激是課程的評(píng)分機(jī)制，在卷積神經(jīng)網(wǎng)絡(luò)的工作中，應(yīng)當(dāng)重點(diǎn)對(duì)研究報(bào)告部分予以側(cè)重。

5結(jié)語(yǔ)

卷積神經(jīng)網(wǎng)絡(luò)是深度學(xué)習(xí)中備受矚目的研究主題，卷積神經(jīng)網(wǎng)絡(luò)更為細(xì)致的內(nèi)容將在進(jìn)一步的教學(xué)工作中實(shí)踐，也需要更深入的研究。需要注意的是，深度學(xué)習(xí)還處于發(fā)展?fàn)顟B(tài)，內(nèi)容仍然不夠成熟，這給教學(xué)工作者提出了更高的要求。

參考文獻(xiàn)：

[1]鐘義信，傳播創(chuàng)新成果，服務(wù)社會(huì)需求：論核心課程的設(shè)計(jì)[J]．計(jì)算機(jī)教育，2021(19):22-25.

[2]鐘義信，高等人工智能：人工智能理論的新階段[J]計(jì)算機(jī)教育，2021(9):6-11.

[3]李睿凡，王小捷，鐘義信，引入深度學(xué)習(xí)的人工智能類課程[J]計(jì)算機(jī)教育，2021(19):61-64.

[4]李睿凡，王小捷，鐘義信．探索神經(jīng)網(wǎng)絡(luò)深度學(xué)習(xí)的教學(xué)[J]計(jì)算機(jī)教育，2021(19):77-79.

[5]HaykinS.Neuralnetworksandlearningmachines[M].NewYork:PrenticeHall,2021.

[6]HintonG,SalakhutdinovR.Reducingthedimensionalityofdatawithneuralnetworks[J].Science,2021,5786(313):504-507.

[7]KrizhevskyA,SutskeverI,HintonG.lmageNetclassificationwithdeepconvolutionalneuralnetworks[C].LakeTahoe:NeuralInformationProcessingSystems(NIPS)Foundation,2021:1106-1114.

[8]BengioY.LeamingdeeparchitecturesforAI[J].FoundationsandTrendsinMachineLearning,2021,2(1):1-127.

[9]ArelI,RoseDC,KarnowskiTP.DeepmachineLearning:anewfrontierinartificialintelligenceresearch[J].IEEEComputationalIntelligenceMagazine,2021,5(4):13-18.

[10]DahlG