基于移動(dòng)App客戶端的深度學(xué)習(xí)對(duì)象識(shí)別

基于移動(dòng)App客戶端的深度學(xué)習(xí)對(duì)象識(shí)別命題教師：葛錫寶歡迎加入該命題的QQ群：727690513命題企業(yè)：上海睿亞訓(xùn)軟件技術(shù)服務(wù)有限公司一、項(xiàng)目背景2017年7月20日，中國(guó)國(guó)務(wù)院在《新一代人工智能發(fā)展規(guī)劃》中指出：接下來(lái)人工智能將成為國(guó)家重要發(fā)展戰(zhàn)略之一，其意義影響到國(guó)家的國(guó)際競(jìng)爭(zhēng)能力、經(jīng)濟(jì)發(fā)展、社會(huì)建設(shè)等等大方向。同時(shí)，中國(guó)的人工智能具有良好基礎(chǔ)，但與發(fā)達(dá)國(guó)家相比仍存在差距，面對(duì)新形勢(shì)新需求，必須主動(dòng)求變應(yīng)變。根據(jù)《規(guī)劃》指出的戰(zhàn)略目標(biāo)：到2020年，中國(guó)人工智能總體技術(shù)和應(yīng)用與世界先進(jìn)水平同步，人工智能產(chǎn)業(yè)成為新的重要經(jīng)濟(jì)增長(zhǎng)點(diǎn)，人工智能技術(shù)應(yīng)用成為改善民生的新途徑。到2025年，中國(guó)人工智能基礎(chǔ)理論實(shí)現(xiàn)重大突破，部分技術(shù)與應(yīng)用達(dá)到世界領(lǐng)先水平，人工智能成為我國(guó)產(chǎn)業(yè)升級(jí)和經(jīng)濟(jì)轉(zhuǎn)型的主要?jiǎng)恿Γ悄苌鐣?huì)建設(shè)取得積極進(jìn)展。到2030年，中國(guó)人工智能理論、技術(shù)與應(yīng)用總體達(dá)到世界領(lǐng)先水平，成為世界主要人工智能創(chuàng)新中心，人工智能核心產(chǎn)業(yè)規(guī)模超過(guò)10,000億元，帶動(dòng)相關(guān)產(chǎn)業(yè)規(guī)模超過(guò)100,000億元。目前，國(guó)內(nèi)以國(guó)防科技大學(xué)，南京大學(xué)，重慶郵電大學(xué)，西安電子科技大學(xué)，為首的高校已開(kāi)始建立基于深度學(xué)習(xí)與新一代人工智能技術(shù)的人工智能學(xué)院。隨著國(guó)內(nèi)人工智能產(chǎn)業(yè)的拓展，可以預(yù)見(jiàn)：未來(lái)10-15年，包括信息技術(shù)，互聯(lián)網(wǎng)在內(nèi)的各行業(yè)都將對(duì)人工智能人才有著強(qiáng)烈的需求。本項(xiàng)目通過(guò)將：“基于深度學(xué)習(xí)的對(duì)象識(shí)別”——新一代人工智能核心應(yīng)用，付諸于“安卓系統(tǒng)”移動(dòng)App實(shí)現(xiàn)，將：移動(dòng)互聯(lián)網(wǎng)開(kāi)發(fā)，圖像數(shù)據(jù)處理，深度學(xué)習(xí)等先進(jìn)技術(shù)關(guān)聯(lián)在一起。其實(shí)踐意義在于：通過(guò)帶體驗(yàn)及引導(dǎo)性的App程序讓學(xué)生對(duì)人工智能技術(shù)及產(chǎn)品有一個(gè)直觀的了解與認(rèn)知，并提高學(xué)生對(duì)大數(shù)據(jù)處理，深度學(xué)習(xí)，對(duì)象識(shí)別模型訓(xùn)練，Python語(yǔ)言的熟練運(yùn)用，有助于將理論知識(shí)與實(shí)踐相結(jié)合。通過(guò)引導(dǎo)性的深度學(xué)習(xí)算法模型演示，讓學(xué)生快速掌握深度學(xué)習(xí)算法模型原理，通過(guò)模型再訓(xùn)練提升對(duì)象識(shí)別精確度。通過(guò)完整的深度學(xué)習(xí)項(xiàng)目開(kāi)發(fā)訓(xùn)練，讓學(xué)生深刻了解人工智能項(xiàng)目開(kāi)發(fā)的標(biāo)準(zhǔn)流程，提升項(xiàng)目開(kāi)發(fā)經(jīng)驗(yàn)。二、項(xiàng)目要求2.1項(xiàng)目介紹本項(xiàng)目主要是通過(guò)由命題方預(yù)先提供的，基于全球最流行的深度學(xué)習(xí)開(kāi)源框架TensorFlow預(yù)先訓(xùn)練好的算法模型，通過(guò)模型導(dǎo)出，并嵌入安卓系統(tǒng)移動(dòng)App。實(shí)現(xiàn)攝像頭內(nèi)鏡像的實(shí)時(shí)對(duì)象識(shí)別功能。學(xué)生可以在自己的安卓移動(dòng)終端上安裝該App程序，一方面體驗(yàn)深度學(xué)習(xí)對(duì)象識(shí)別算法的效果，另一方面，了解該預(yù)先訓(xùn)練好的算法模型，仍具備可優(yōu)化的空間：包括：數(shù)據(jù)標(biāo)簽語(yǔ)言，對(duì)象識(shí)別精確度，所能識(shí)別的對(duì)象類型數(shù)量等——本項(xiàng)目評(píng)分核心標(biāo)準(zhǔn)，在于如何重新訓(xùn)練該預(yù)先訓(xùn)練的算法模型，提升安卓App的對(duì)象識(shí)別精確度。出題方提供的對(duì)象識(shí)別App，其訓(xùn)練數(shù)據(jù)集基于ImageNet2012年視覺(jué)識(shí)別大賽的數(shù)據(jù)對(duì)深度學(xué)習(xí)模型進(jìn)行訓(xùn)練，這是計(jì)算機(jī)視覺(jué)中的一項(xiàng)標(biāo)準(zhǔn)任務(wù)，模型嘗試將整個(gè)圖像分類為1000個(gè)類，因此當(dāng)你發(fā)現(xiàn)某些物體無(wú)法被正確識(shí)別的時(shí)候，最大的原因是當(dāng)時(shí)的數(shù)據(jù)集并未把對(duì)象包含在上述的類別中。到了現(xiàn)在，ImageNet已經(jīng)提供了14,197,122張圖片在21,841個(gè)分類當(dāng)中，可以進(jìn)行二次算法優(yōu)化。2.2項(xiàng)目流程根據(jù)項(xiàng)目要求與提供的安卓App及算法模型源代碼，訓(xùn)練數(shù)據(jù)集，對(duì)移動(dòng)App的深度學(xué)習(xí)對(duì)象識(shí)別算法模型進(jìn)行二次訓(xùn)練。最終，把二次訓(xùn)練后的模型，通過(guò)TensorFlow移動(dòng)App接口重新嵌入，結(jié)果通過(guò)以本參賽隊(duì)伍的名稱/圖案標(biāo)識(shí)作為App圖標(biāo)，以.APK文件格式進(jìn)行提交，以下是本項(xiàng)目的數(shù)據(jù)處理流程圖：3.3出題方技術(shù)支持出題方提供Android平臺(tái)的演示APP安裝包及對(duì)應(yīng)源代碼，供參賽者體驗(yàn)?zāi)繕?biāo)程序；出題方提供1,000個(gè)已訓(xùn)練好的分類標(biāo)簽，供選題使用，參賽者可在漢化分類標(biāo)簽，算法模型優(yōu)化，以及新增分類標(biāo)簽等各項(xiàng)目中進(jìn)行新APP功能擴(kuò)展；現(xiàn)有標(biāo)簽包括：出題方提供完整的基于docker的TensorFlow深度學(xué)習(xí)訓(xùn)練底層開(kāi)發(fā)環(huán)境，讓參賽者專注于深度學(xué)習(xí)算法的實(shí)現(xiàn)與驗(yàn)證，省去環(huán)境搭建的全過(guò)程；開(kāi)發(fā)環(huán)境包括：出題方向確定報(bào)名參賽隊(duì)伍，提供安卓開(kāi)發(fā)環(huán)境，Python及移動(dòng)App開(kāi)發(fā)環(huán)境，及模型訓(xùn)練算法原理的使用說(shuō)明；出題方提供模型訓(xùn)練所需的測(cè)試集與完整的數(shù)據(jù)集，為參賽者實(shí)現(xiàn)并驗(yàn)證深度學(xué)習(xí)算法提供底層數(shù)據(jù)支撐，其中數(shù)據(jù)集包含超過(guò)100G的圖像數(shù)據(jù)（帶英文標(biāo)簽）?！诰W(wǎng)絡(luò)硬盤(pán)分享，鏈接有可能不穩(wěn)定；相關(guān)資源在參賽隊(duì)伍報(bào)名后，由出題方統(tǒng)一提供。/s/1mhKgIhi密碼：flqi三、參賽要求每個(gè)參賽隊(duì)的作品必須以光盤(pán)形式上交，光盤(pán)內(nèi)需包含以下內(nèi)容：在根目錄下建立四個(gè)文件夾，分別命名為“作品”、“源程序”、“文檔”和“演示”，必要時(shí)自己根據(jù)情況建立二級(jí)文件夾并清晰命名。1）將作品的發(fā)布版（.APK文件或安裝文件）及數(shù)據(jù)庫(kù)備份文件放入“作品”文件夾中；2)將作品的源程序放入“源程序”文件夾中；3)將完整的技術(shù)文檔、管理文檔和系統(tǒng)說(shuō)明文檔（必備軟件安裝和使用說(shuō)明書(shū)）都放到“文檔”文件夾中。注意在文件中應(yīng)逐條詳細(xì)說(shuō)明體現(xiàn)作品設(shè)計(jì)特色的功能；4）作品的運(yùn)行視頻及PPT介紹文稿放在演示文件夾中。注意運(yùn)行視頻必須是在軟件連續(xù)運(yùn)行狀態(tài)下抓取的完整視頻，不能是個(gè)別片段的拼湊，以證明軟件可以完整運(yùn)行。每個(gè)隊(duì)的作品一式三份，即刻錄三張光盤(pán)上交。光盤(pán)上做必要不可擦除的標(biāo)識(shí)以防混亂，如“作品名”、“學(xué)?！?、“組長(zhǎng)姓名”、“小組名稱”等；請(qǐng)將光盤(pán)放在檔案袋內(nèi)，袋上注明以下信息：“學(xué)?！薄白髌访Q”“小組名稱”“組長(zhǎng)姓名”“詳細(xì)聯(lián)系方式（電話、Email）”等；四、評(píng)比方式最終作品以跟原作品校對(duì)優(yōu)化程度區(qū)分優(yōu)劣，參賽者可通過(guò)中文化圖像標(biāo)簽（權(quán)重：低），優(yōu)化對(duì)象識(shí)別精確度（權(quán)重：高），以及增加識(shí)別對(duì)象類別（權(quán)重：中）等方面對(duì)源程序進(jìn)行優(yōu)化，評(píng)審出題方根據(jù)優(yōu)化權(quán)重比對(duì)提交作品進(jìn)行基礎(chǔ)打分。

提交的材料完整、齊全、可讀性好。如果所提交的文檔不完整，仍可以參加評(píng)比，但要適當(dāng)扣分。評(píng)比首先要看程序是否能正常運(yùn)行，即運(yùn)行中出現(xiàn)的錯(cuò)誤不能使程序退出、陷入死循環(huán)或造成死機(jī)。如果出現(xiàn)上述情況，可以重新運(yùn)行，但總嘗試次數(shù)不能超過(guò)三次。在正常運(yùn)行基礎(chǔ)上，以功能評(píng)比為主，在功能相近的情況下，考察程序的其他特色，重點(diǎn)看創(chuàng)意，以鼓勵(lì)學(xué)生創(chuàng)新性思維。首先考察程序是否包含指定的基本功能，其次考察程序的其它創(chuàng)意功能和創(chuàng)意設(shè)計(jì)。若某項(xiàng)功能運(yùn)行不正常，算做無(wú)此功能，不影響其他功能評(píng)比。經(jīng)過(guò)演示、報(bào)告、答辯后，給出參賽成績(jī)。五、平臺(tái)說(shuō)明及操作規(guī)范出題方提供演示移動(dòng)App客戶端（APK及源代碼），參賽方可下載對(duì)應(yīng)APP，在本地手機(jī)上安裝，安裝后啟動(dòng)“TFDetection”應(yīng)用程序，實(shí)現(xiàn)圖像識(shí)別應(yīng)用功能體驗(yàn)，并開(kāi)始對(duì)該App進(jìn)行二次優(yōu)化。APK下載方法——基于網(wǎng)絡(luò)硬盤(pán)分享，鏈接有可能不穩(wěn)定；相關(guān)資源在參賽隊(duì)伍報(bào)名后，由出題方統(tǒng)一提供。：鏈接：/s/18wGRRuFAKxlwNNpL_Z_4oQ密碼：a5hy深度學(xué)習(xí)平臺(tái)搭建基于TensorFlow的深度學(xué)習(xí)系統(tǒng)，通過(guò)運(yùn)行平臺(tái)中的訓(xùn)練程序，對(duì)用戶輸入的數(shù)據(jù)進(jìn)行處理，生成新的模型。核心組件包括：NDK，Android到原生硬件（C/C++開(kāi)發(fā)）的一套開(kāi)發(fā)組件；Bazel，Google的一款可再生的代碼構(gòu)建工具。它主要是用于構(gòu)建Google的軟件，處理出現(xiàn)在Google的開(kāi)發(fā)環(huán)境的構(gòu)建問(wèn)題，比如說(shuō)：大規(guī)模數(shù)據(jù)構(gòu)建問(wèn)題，共享代碼庫(kù)的問(wèn)題，從源代碼構(gòu)建的軟件的相關(guān)問(wèn)題；Pandas，Python提供了一套名為DataFrame的數(shù)據(jù)結(jié)構(gòu)，比較契合統(tǒng)計(jì)分析中的表結(jié)構(gòu)，并且提供了計(jì)算接口；Numpy，Python以矩陣為基礎(chǔ)的數(shù)學(xué)計(jì)算模塊，純數(shù)學(xué)；PIL，Python圖像處理庫(kù)；Matplotlib，Python數(shù)據(jù)可視化框架庫(kù)；Tarfile，Python壓縮處理組件；Hashlib，主要提供字符加密功能，將md5和sha模塊整合到了一起，支持md5,sha1,sha224,sha256,sha384,sha512等算法；Random，隨機(jī)向量采集組件；TensorFlow，全球最為流行的深度學(xué)習(xí)框架；出題方利用Docker技術(shù)封裝了一套已經(jīng)搭建好的TensorFlow，參賽方可通過(guò)直接下載對(duì)應(yīng)容器，在本地服務(wù)器上進(jìn)行模型訓(xùn)練，TensorFlow容器下載方式及使用方法——基于網(wǎng)絡(luò)硬盤(pán)分享，鏈接有可能不穩(wěn)定；相關(guān)資源在參賽隊(duì)伍報(bào)名后，由出題方統(tǒng)一提供。下載地址：/s/18wGRRuFAKxlwNNpL_Z_4oQ

密碼：a5hy使用方法：在本地計(jì)算機(jī)上安裝Docker環(huán)境，參考/p/490884917c4d導(dǎo)入鏡像到本地Docker中，dockerload<docker.tar查看Docker鏡像id：#dockerimages找到對(duì)應(yīng)的imageid，如上圖所示。標(biāo)記鏡像，#dockertagIMAGE_IDra_image運(yùn)行鏡像：#dockerrun-itra_image學(xué)生可通過(guò)自選增補(bǔ)數(shù)據(jù)集，保存在本地磁盤(pán)，通過(guò)平臺(tái)對(duì)已有的模型對(duì)新的對(duì)象進(jìn)行新增識(shí)別訓(xùn)練，生成新的模型庫(kù)，并將模型庫(kù)導(dǎo)入Android應(yīng)用程序安裝包中。評(píng)委在手機(jī)上安裝導(dǎo)出Android程