人工智能技術(shù)導(dǎo)論-課件 第2章 人工智能開發(fā)流程

第2章人工智能開發(fā)流程目錄2.1人工智能系統(tǒng)構(gòu)成2.2人工智能系統(tǒng)開發(fā)流程2.3人工智能系統(tǒng)開發(fā)環(huán)境學(xué)習目標本章主要從人工智能開發(fā)人員的視角，圍繞人工智能系統(tǒng)的基礎(chǔ)架構(gòu)、層次結(jié)構(gòu)、硬件結(jié)構(gòu)、開發(fā)流程、數(shù)據(jù)環(huán)境和算法工具包等進行分析和討論，希望帶領(lǐng)讀者了解人工智能系統(tǒng)的軟硬件開發(fā)環(huán)境，初步理解人工智能開發(fā)的工作流程。理解人工智能系統(tǒng)構(gòu)成邏輯理解人工智能系統(tǒng)開發(fā)流程了解人工智能系統(tǒng)開發(fā)環(huán)境了解人工智能系統(tǒng)常用的第三方庫目錄2.1人工智能系統(tǒng)構(gòu)成人工智能系統(tǒng)構(gòu)成人工智能系統(tǒng)的理論前身為20世紀60年代末由斯坦福大學(xué)提出的機器人操作系統(tǒng)，該系統(tǒng)除了具備通用操作系統(tǒng)的所有功能，還包括語音識別、機器視覺、執(zhí)行器系統(tǒng)、和認知行為等功能。隨著人工智能技術(shù)的發(fā)展，現(xiàn)已被廣泛地應(yīng)用于家庭、教育、軍事、航空和工業(yè)等領(lǐng)域。傳統(tǒng)的計算機系統(tǒng)主要由硬件系統(tǒng)和軟件系統(tǒng)共同構(gòu)成的。硬件是有形的物理設(shè)備，是計算機系統(tǒng)中實際物理裝置的總稱，軟件是指在硬件上運行的程序和相關(guān)數(shù)據(jù)的文檔。傳統(tǒng)計算機工作原理人工智能系統(tǒng)構(gòu)成人工智能系統(tǒng)也是一種計算機應(yīng)用系統(tǒng)，其系統(tǒng)構(gòu)成可以簡單的概括為由輸入系統(tǒng)（傳感器、探測器等）、處理系統(tǒng)（語言識別、圖像識別、自然語言處理等）、網(wǎng)絡(luò)系統(tǒng)、決策系統(tǒng)、輸出系統(tǒng)等組成，具有智能化的可以代替人完成重復(fù)性、復(fù)雜繁重工作的自動化處理系統(tǒng)。人工智能系統(tǒng)構(gòu)成人工智能系統(tǒng)構(gòu)成人工智能是模擬實現(xiàn)人類思維的技術(shù)，它的主要目的是賦予機器人特有的視聽說以及抽象思維能力?？傮w來說，它是知識和思維的結(jié)合體，分為四個層次來理解人工智能系統(tǒng)技術(shù)體系：（1）基礎(chǔ)層：為人工智能系統(tǒng)提供基礎(chǔ)設(shè)施和數(shù)據(jù)資源。（2）算法層：指用系統(tǒng)的方法描述解決問題的策略機制，人工智能算法主要指目前相對成熟的深度學(xué)習、機器學(xué)習算法等等。（3）技術(shù)層：對人工智能產(chǎn)品的智能化程度起到直接作用，包括自然語言處理、語音處理、計算機視覺等通用技術(shù)。（4）應(yīng)用層：主要利用技術(shù)層輸出的通用技術(shù)實現(xiàn)不同場景的落地應(yīng)用。目錄2.2人工智能系統(tǒng)開發(fā)流程人工智能系統(tǒng)開發(fā)流程不同的人工智能系統(tǒng)對數(shù)據(jù)的要求，使用的開發(fā)手段和開發(fā)流程也是不一樣的。接下來，以國產(chǎn)非常優(yōu)秀且方便初學(xué)者使用的AI開發(fā)平臺-百度EasyDL為例，介紹人工智能系統(tǒng)典型的開發(fā)流程。人工智能系統(tǒng)開發(fā)流程EasyDL是百度大腦推出的零門檻的國產(chǎn)AI開發(fā)平臺，對各行各業(yè)有定制AI需求、零算法基礎(chǔ)或者追求高效率開發(fā)AI的用戶非常友好，很容易使用,不用去關(guān)注復(fù)雜的模型即參數(shù)，而是專注于應(yīng)用，支持包括數(shù)據(jù)管理、模型構(gòu)建、模型部署與應(yīng)用的一站式AI開發(fā)流程，原始圖片、文本、音頻、視頻等數(shù)據(jù)，經(jīng)過EasyDL加工、學(xué)習、部署，可通過公有云API調(diào)用，或部署在本地服務(wù)器、小型設(shè)備、軟硬一體方案的專項適配硬件上，通過SDK或API進一步集成，如圖2-4所示。關(guān)于EasyDL的更多信息，可登錄官網(wǎng)查閱：/tech/imagerecognition/ingredient。人工智能系統(tǒng)開發(fā)流程EasyDL非常適合零門檻快速開發(fā)人工智能系統(tǒng)，支持6大技術(shù)方向，每個方向包括不同的模型類型：EasyDL圖像：圖像分類、物體檢測、圖像分割EasyDL文本：文本分類-單標簽、文本分類-多標簽、文本實體抽取、情感傾向分析、短文本相似度EasyDL語音：語音識別、聲音分類EasyDLOCR：文字識別EasyDL視頻：視頻分類、目標跟蹤EasyDL結(jié)構(gòu)化數(shù)據(jù)：表格預(yù)測

人工智能系統(tǒng)開發(fā)流程基于EasyDL的人工智能系統(tǒng)典型開發(fā)流程主要包括分析業(yè)務(wù)需求、采集/收集數(shù)據(jù)、標注數(shù)據(jù)、訓(xùn)練模型、評估模型效果和部署模型六個環(huán)節(jié)?；贓asyDL的人工智能系統(tǒng)典型開發(fā)流程人工智能系統(tǒng)開發(fā)流程2.2.1分析業(yè)務(wù)需求在正式啟動系統(tǒng)開發(fā)之前，需要有效分析和拆解業(yè)務(wù)需求，明確模型類型如何選擇。這里我們可以舉一些實際業(yè)務(wù)場景的例子進行分析。原始業(yè)務(wù)需求：某企業(yè)希望為某所學(xué)校做一套智能監(jiān)控系統(tǒng)，希望對多種現(xiàn)象智能監(jiān)控并及時預(yù)警，包括保安是否在崗、學(xué)校是否有有異常噪音、學(xué)校內(nèi)各個區(qū)域的垃圾桶是否已滿等多個業(yè)務(wù)功能。針對這個原始業(yè)務(wù)需求，我們可以分析出不同的監(jiān)控對象所在的位置不同、監(jiān)控的數(shù)據(jù)類型不同（有的針對圖片進行識別、有的針對聲音進行判斷），需要多個模型綜合應(yīng)用。監(jiān)控保安是否在崗——通過圖像分類模型進行判斷；監(jiān)控小區(qū)是否有異常噪音——定時收集聲音片段，通過聲音分類模型進行判斷；監(jiān)控小區(qū)內(nèi)各個區(qū)域垃圾桶是否已滿——由于視頻監(jiān)控區(qū)域采集的畫面中可能會存在多個垃圾桶，可通過物體檢測模型進行判斷。人工智能系統(tǒng)開發(fā)流程2.2.2采集/收集數(shù)據(jù)數(shù)據(jù)是人工智能系統(tǒng)的重要“燃料”，在通過上述第一步分析出基本的模型類型，需要進行相應(yīng)的數(shù)據(jù)采集/收集工作，采集的數(shù)據(jù)格式要正確，分為圖片數(shù)據(jù)、文本數(shù)據(jù)、視頻數(shù)據(jù)、音頻數(shù)據(jù)、結(jié)構(gòu)化數(shù)據(jù)等。數(shù)據(jù)的主要原則為盡可能采集真實業(yè)務(wù)場景一致的數(shù)據(jù)，并覆蓋可能有的各種情況。人工智能系統(tǒng)開發(fā)流程2.2.3標注數(shù)據(jù)通常AI開發(fā)過程中經(jīng)常需要處理海量數(shù)據(jù)，數(shù)據(jù)準備與標注往往耗費整體開發(fā)一半及以上時間。采集數(shù)據(jù)后，可以通過EasyDL在線標注工具或線下其他標注工具對已有的數(shù)據(jù)進行標注。對于保安是否在崗的圖像分類模型，需要將監(jiān)控視頻分幀后的圖像按照【在崗】和【未在崗】兩類進行整理；學(xué)校內(nèi)各個區(qū)域垃圾桶是否已滿，需要將監(jiān)控視頻分幀后的垃圾桶圖像按照【空】和【滿】兩種狀態(tài)進行標注。人工智能系統(tǒng)開發(fā)流程2.2.4訓(xùn)練模型訓(xùn)練模型俗稱“建?！保竿ㄟ^分析手段、方法和技巧對準備好的數(shù)據(jù)進行探索分析，從中發(fā)現(xiàn)因果關(guān)系、內(nèi)部聯(lián)系和業(yè)務(wù)規(guī)律，為項目提供決策參考。訓(xùn)練模型階段可以將已有標注好的數(shù)據(jù)基于已經(jīng)確定的初步模型類型，選擇算法進行訓(xùn)練，例如圖像分類、物體檢測、文本分類、語音分類、視頻分類、OCR等。通過使用EasyDL平臺，可以可視化在線操作訓(xùn)練任務(wù)的啟停、訓(xùn)練任務(wù)的配置?？梢源蠓鶞p少線下搭建訓(xùn)練環(huán)境、自主編寫算法代碼的相關(guān)成本。人工智能系統(tǒng)開發(fā)流程2.2.5部署模型當確認模型效果可用后，可以將模型部署至生產(chǎn)環(huán)境中。在實際系統(tǒng)開發(fā)中，面對不同的客戶，通常需要交付不同的產(chǎn)品，總體來說，交付的產(chǎn)品通常有3種形態(tài)：（1）服務(wù)ServiceAI模型的部署服務(wù)，客戶端可以通過HTTP/REST或GRPC的方式來請求服務(wù)。輸入一張圖片/一段視頻，輸出圖片/視頻的分析結(jié)果。（2）開發(fā)包SDK或者功能組件有的中間商或集成商以及一些傳統(tǒng)的非AI公司，需要用深度學(xué)習解決問題的能力。把基于深度學(xué)習的算法能力集成到自己的業(yè)務(wù)系統(tǒng)中，為最終用戶提供服務(wù)。（3）應(yīng)用Application這種形式的產(chǎn)品，通常面向的是某個場景的最終用戶。因此交付的產(chǎn)品，是一整套包括交互界面在內(nèi)的軟件系統(tǒng)，有時也會將硬件一起捆綁交付。人工智能系統(tǒng)開發(fā)流程2.2.5部署模型百度網(wǎng)站提供的API服務(wù)某智能倉儲管理系統(tǒng)目錄2.3人工智能系統(tǒng)開發(fā)環(huán)境人工智能系統(tǒng)開發(fā)環(huán)境環(huán)境配置是人工智能項目開發(fā)的基礎(chǔ)，人工智能開發(fā)環(huán)境主要包括：Python語言解釋器、Python語言開發(fā)平臺、相關(guān)的包管理工具以及擴展庫。首先我們必須要一個適合人工智能應(yīng)用開發(fā)的語言，目前主流的是Python語言，為了編寫Python程序過程中有良好的編輯環(huán)境（如關(guān)鍵字提醒、語法出錯、自動對齊等），我們需要一個良好的Python語言的開發(fā)平臺如PyCharm，另外我們開發(fā)程序不能什么功能都自己從零開始寫，所以需要一些別人寫好的功能模塊，這些功能模塊就是擴展庫（或者稱為包），但要使用這些擴展庫就需要庫管理工具，如pip或Anaconda來下載安裝這些擴展庫。人工智能系統(tǒng)開發(fā)環(huán)境2.3.1Python語言盡管人工智能開發(fā)可以使用幾乎所有編程語言實現(xiàn)，如C、C++、Java、Lisp、Prolog、Python等。隨著人工智能時代的到來，Python成為眾多程序員追求的神兵利器。它是一門流行的面向?qū)ο蟮慕忉屝途幊陶Z言，它由Guido創(chuàng)建發(fā)布于1991年。人工智能系統(tǒng)開發(fā)環(huán)境2.3.2PyCharm集成開發(fā)環(huán)境PyCharm是一種PythonIDE（IntegratedDevelopmentEnvironment，集成開發(fā)環(huán)境），帶有一整套可以幫助用戶在使用Python語言開發(fā)時提高其效率的工具，比如調(diào)試、語法高亮、項目管理、代碼跳轉(zhuǎn)、智能提示、自動完成、單元測試、版本控制。此外，該IDE提供了一些高級功能，以用于支持Django框架下的專業(yè)Web開發(fā)。PyCharm分為專業(yè)版（Professional）和社區(qū)版（Community），專業(yè)版需要收費，社區(qū)版免費但功能有限。對于普通開發(fā)者，可以下載使用社區(qū)版。人工智能系統(tǒng)開發(fā)環(huán)境2.3.3Anaconda庫管理工具Anaconda是一個開源的Python發(fā)行版本，其包含了conda、Python等180多個科學(xué)包及其依賴項。Anaconda支持Linux,Mac,Windows系統(tǒng)，提供了包管理與環(huán)境管理的功能，可以很方便地解決多版本python并存、切換以及各種第三方包安裝問題。Anaconda利用工具/命令conda來進行package和environment的管理，并且已經(jīng)包含了Python和相關(guān)的配套工具。支持Linux,Mac,Windows可以很方便地解決多版本python并存、切換以及各種第三方包安裝問題，實現(xiàn)跨平臺、同時實現(xiàn)包管理、環(huán)境管理的功能。人工智能系統(tǒng)開發(fā)環(huán)境2.3.4常用第三方庫（1）pandaspandas是Python的一個數(shù)據(jù)分析包。在使用pandas前，需要使用命令pipinstallpandas（版本號可缺省，默認安裝當前最新版）安裝pandas。（2）NumpyNumpy（NumericalPython）是Python的一種開源的數(shù)值計算擴展。在使用NumPy前，需要使用命令pipinstallnumpy（版本號可缺省，默認安裝當前最新版）安裝NumPy。（3）MatplotlibMatplotlib是一個Python的2D繪圖庫。在使用Matplotlib前，需要安裝Matplotlib，使用命令pipinstallmatplotlib（版本號可缺省，默認安裝當前最新版）。人工智能系統(tǒng)開發(fā)環(huán)境2.3.4常用第三方庫（4）OpenCVOpenCV是一個基于BSD許可(開源)發(fā)行的跨平臺計算機視覺和機器學(xué)習軟件庫。在使用OpenCV前，需要使用命令pipinstallopencv-python（版本號可缺省，默認安裝當前最新版）安裝OpenCV。（5）TensorFlowTensorFlow是一個基于數(shù)據(jù)流編程（da