人工智能基礎(chǔ)（Python實現(xiàn)）-課件 第5章 計算機視覺技術(shù)與應(yīng)用

第5章計算機視覺技術(shù)與應(yīng)用前言刷臉支付讓我們在購物時無須攜帶任何卡片，只需一個微笑，便能輕松完成支付前言拍照識物則將我們的手機變成了智能助手，隨時隨地解答我們對周圍世界的疑問前言貨物自動分揀系統(tǒng)的應(yīng)用大大提高了作業(yè)效率，降低了人工成本前言而在機場、車站等公共場所，人證合一過安檢技術(shù)的應(yīng)用，不僅提升了安檢速度，更加強了安全保障前言人流量統(tǒng)計技術(shù)的應(yīng)用，為商業(yè)分析和城市規(guī)劃提供了有力的數(shù)據(jù)支持。前言隨著科技的飛速發(fā)展,計算機視覺作為人工智能領(lǐng)域的一個重要分支,計算機視覺技術(shù)正在悄然改變著我們的生活方式,提升工作效率,為各行各業(yè)帶來革命性的變革。本章主要介紹了計算機視覺技術(shù)的基礎(chǔ)、基本任務(wù)、常見應(yīng)用以及面臨的挑戰(zhàn)與未來發(fā)展。學(xué)習(xí)目標04030201理解計算機視覺的基本概念、處理流程和應(yīng)用領(lǐng)域,了解計算機視覺的發(fā)展歷程和計算機視覺與相關(guān)領(lǐng)域的聯(lián)系和區(qū)別。理解和掌握計算機視覺的基本任務(wù),如圖像分類、目標檢測與定位、圖像分割等。操作和體驗百度人工智能平臺上的圖像技術(shù)、OCR、人臉識別和人體分析等功能,理解和掌握計算機視覺領(lǐng)域常見應(yīng)用。認識到計算機視覺技術(shù)面臨的挑戰(zhàn),并對未來的發(fā)展趨勢有所了解。5.1計算機視覺基礎(chǔ)15.1.1計算機視覺的概念與發(fā)展歷程5.1.4應(yīng)用領(lǐng)域5.1.2計算機視覺處理流程5.1.3計算機視覺與相關(guān)領(lǐng)域的聯(lián)系與區(qū)別3425.1.1計算機視覺的概念與發(fā)展歷程計算機視覺是利用計算機技術(shù)模擬人類視覺系統(tǒng),實現(xiàn)對圖像或視頻中的物體、場景和行為進行識別、理解和解釋的過程。它結(jié)合了圖像處理、模式識別、機器學(xué)習(xí)等多個領(lǐng)域的技術(shù),旨在讓計算機能夠“看”和“理解”視覺信息。簡單來說,計算機視覺就是讓計算機能夠像人一樣理解和處理圖像和視頻內(nèi)容,“看懂”世界的過程。計算機視覺的概念5.1.1計算機視覺的概念與發(fā)展歷程深度學(xué)習(xí)興起期(21世紀初)基礎(chǔ)發(fā)展期(20世紀80年代)萌芽期(20世紀60—70年代)系統(tǒng)開發(fā)期(20世紀90年代)跨學(xué)科融合期(21世紀20年代至今)計算機視覺的發(fā)展歷程計算機視覺系統(tǒng)通過圖像采集硬件（如相機、鏡頭、光源等）將光信號轉(zhuǎn)換成圖像信號，并傳送給圖像處理軟件，圖像處理軟件根據(jù)像素亮度、顏色分布等信息，對目標進行特征提取、分類、檢測、跟蹤等處理，并根據(jù)處理結(jié)果輸出相應(yīng)的控制信號或信息。停車場車牌自動識別流程如圖5-1所示。5.1.2計算機視覺處理流程1.數(shù)據(jù)收集與數(shù)據(jù)預(yù)處理對比度增強12345圖像灰度化歸一化幾何變換濾波(去噪)首先，需要收集相關(guān)的圖像或視頻數(shù)據(jù)。這些數(shù)據(jù)可能來自各種成像設(shè)備，如攝像機、傳感器等。然后，對收集到的數(shù)據(jù)進行預(yù)處理，以提高數(shù)據(jù)的質(zhì)量和可用性。預(yù)處理主要包括以下步驟。2．圖像分割圖像分割是將圖像劃分為若干個互不重疊且具有各自特征的區(qū)域的過程。這里的特征可以是灰度、顏色、紋理等。圖像分割將圖像中的目標從背景中分離出來，以便于進行進一步的分析和處理。2．圖像分割0102基于區(qū)域的分割方法屬于基于邊界的分割方法（1）直方圖門限法：根據(jù)圖像的灰度直方圖，選擇一個或多個門限值將圖像分割成不同的區(qū)域。僅考慮灰度信息，忽略了空間信息。（2）區(qū)域生長法：從一組種子點開始，根據(jù)一定的相似性準則（如灰度、顏色、紋理等），將種子點周圍的像素加入相應(yīng)的區(qū)域中，逐步生長成完整的區(qū)域。這種方法能夠較好地保留圖像的空間信息，但可能導(dǎo)致過度分割。（3）基于隨機場模型法：如MRF模型將圖像視為一個隨機場，通過最小化能量函數(shù)來實現(xiàn)圖像分割。這種方法能夠考慮圖像的全局信息，但計算復(fù)雜度較高。（4）邊緣檢測法：利用圖像的一階或二階導(dǎo)數(shù)信息來檢測圖像中的邊緣點，進而形成邊界線，將圖像分割成不同的區(qū)域。這種方法對噪聲較為敏感，需要合適的濾波器來平滑圖像。（5）活動輪廓法（Snake模型或主動輪廓模型）：通過定義一個可變形模型（如輪廓線），在圖像力的作用下不斷變形以逼近圖像的真實邊界。這種方法能夠較好地處理復(fù)雜的邊界形狀，但需要合適的初始輪廓和迭代策略。圖像分割的難點0204光照變化:光照變化會影響像素之間的相似度,從而影響分割算法的效果。03復(fù)雜背景與噪聲:當圖像中存在復(fù)雜的背景或噪聲時,會影響分割算法的準確性。01計算復(fù)雜度:一些分割算法需要進行大量的計算,需要較長的處理時間,這對于實時應(yīng)用來說是不可接受的。05圖像模糊:當圖像模糊時,像素之間的邊界變得模糊不清,會影響分割算法的效果。目標復(fù)雜性:當目標形狀復(fù)雜或存在遮擋時,會影響分割算法的準確性。3．特征提取與特征表示在計算機視覺中,特征提取是指從圖像或視頻數(shù)據(jù)中自動或手動地提取出具有顯著性和代表性的特征,這些特征能夠描述圖像或視頻中的關(guān)鍵信息,可以是顏色、紋理、形狀、邊緣、焦點等。特征表示是將提取的特征轉(zhuǎn)換成一種更緊湊、更易于計算機理解和處理的形式以便機器學(xué)習(xí)模型能夠更有效地學(xué)習(xí)并做出準確的預(yù)測或決策,如向量、矩陣或更高維的數(shù)據(jù)結(jié)構(gòu)。特征提取方法SIFT(尺度不變特征變換):具有尺度不變性,能夠提取出圖像中的關(guān)鍵點及其描述符,廣泛應(yīng)用于圖像匹配、物體識別等領(lǐng)域。1SURF(加速穩(wěn)健特征):SURF算法在保持SIFT算法優(yōu)良性能的基礎(chǔ)上,提高了計算速度,適用于實時計算機視覺系統(tǒng)。2HOG(定向梯度直方圖):主要用于物體檢測,通過對圖像局部區(qū)域的梯度方向和強度進行統(tǒng)計,生成特征描述符。3LBP(局部二值模式):一種用于紋理分類的特征提取方法,通過比較圖像局部區(qū)域的中心像素與其鄰域像素的灰度值,生成二值化的特征描述符。4傳統(tǒng)特征提取方法主要依賴于人類專家的先驗知識，設(shè)計出一系列能夠描述圖像特性的特征因子。常見的傳統(tǒng)特征提取方法如下。特征提取方法自動特征學(xué)習(xí):無須人工設(shè)計特征提取器,卷積神經(jīng)網(wǎng)絡(luò)能夠自動從數(shù)據(jù)中學(xué)習(xí)到有效的特征表示。1特征層次化:卷積神經(jīng)網(wǎng)絡(luò)通過多層非線性變換,能夠提取出從低級到高級的特征表示,這些特征具有更強的表達能力和泛化能力。2端到端訓(xùn)練:卷積神經(jīng)網(wǎng)絡(luò)可以實現(xiàn)特征提取和分類等任務(wù)的端到端訓(xùn)練,從而提高整體性能。3深度學(xué)習(xí)方法，特別是卷積神經(jīng)網(wǎng)絡(luò)，能夠自動從原始圖像中學(xué)習(xí)到高級特征表示。與傳統(tǒng)方法相比，深度學(xué)習(xí)方法具有以下優(yōu)點。4．模型選擇與訓(xùn)練0102模型選擇模型訓(xùn)練首先需要明確所要解決的任務(wù)類型，如分類、回歸、聚類、時間序列預(yù)測等。然后，根據(jù)任務(wù)類型和數(shù)據(jù)特點，選擇多種可能的模型作為候選。例如，對于分類問題，可以選擇邏輯回歸、決策樹、隨機森林、支持向量機（SupportVectorMachine，SVM）、神經(jīng)網(wǎng)絡(luò)等模型。通過正確地將數(shù)據(jù)集劃分為訓(xùn)練集、驗證集和測試集，可以有效地訓(xùn)練和評估模型，從而得到更可靠的性能指標。通常，訓(xùn)練集用于訓(xùn)練模型，驗證集用于調(diào)整模型參數(shù)（如超參數(shù)），測試集用于評估模型的最終性能。根據(jù)評估結(jié)果，選擇性能最優(yōu)的模型作為最終模型。如果多個模型性能相近，還可以考慮其他因素，如計算效率、可解釋性等。在使用訓(xùn)練集對選定的模型進行訓(xùn)練前，要選擇合適的優(yōu)化器和損失函數(shù)。優(yōu)化器用于指導(dǎo)模型的訓(xùn)練過程，常見的優(yōu)化器包括SGD（隨機梯度下降）、Adam（自適應(yīng)矩估計）、AdaGrad（自適應(yīng)次梯度方法）等。損失函數(shù)用于衡量模型預(yù)測值與實際值之間的差異，常見的損失函數(shù)包括MSE（均方誤差）、交叉熵等。在訓(xùn)練過程中，通過不斷迭代優(yōu)化模型的參數(shù)以最小化損失函數(shù)。同時監(jiān)控訓(xùn)練過程，避免過擬合和欠擬合。5．模型測試與評估使用測試數(shù)據(jù)集上對訓(xùn)練好的模型進行測試,使用各種評估指標對模型進行測試結(jié)果的評估,如準確率、召回率、F1分數(shù)等,以評估模型的性能和準確性。如果測試集上的性能不滿足要求,可以返回模型選擇階段重新選擇模型或調(diào)整模型參數(shù)。因此,模型選擇與訓(xùn)練、模型測試與評估是一個迭代的過程,需要不斷地根據(jù)任務(wù)需求、數(shù)據(jù)特點和模型性能進行調(diào)整和優(yōu)化。通過合理的模型選擇和訓(xùn)練策略,可以構(gòu)建出高效、準確的預(yù)測模型。6．圖像分析與解釋圖像分析是對提取的特征進行進一步的分析和處理,以實現(xiàn)特定的計算機視覺任務(wù),如圖像分類、目標檢測、目標跟蹤、場景分割等。01圖像解釋是對圖像進行高級推理和理解,如物體識別、場景理解、行為分析等。這一步通常依賴于更復(fù)雜的模型和算法,以實現(xiàn)對圖像內(nèi)容的深入理解和解釋。025.1.3計算機視覺與相關(guān)領(lǐng)域的聯(lián)系與區(qū)別1.圖像處理圖像處理通常關(guān)注于改善圖像質(zhì)量或提取基本特征,而計算機視覺更側(cè)重于從圖像中識別對象和理解內(nèi)容,實現(xiàn)的是從圖像數(shù)據(jù)到高層信息的轉(zhuǎn)換。圖像處理是計算機視覺的前提,包括圖像的預(yù)處理、增強和轉(zhuǎn)換等,用于改善圖像質(zhì)量,提取有用信息,為計算機視覺中的后續(xù)分析和理解做準備。01025.1.3計算機視覺與相關(guān)領(lǐng)域的聯(lián)系與區(qū)別2.模式識別模式識別是計算機視覺中的一個重要組成部分。模式識別技術(shù)如特征提取、分類器設(shè)計等,在計算機視覺中用于識別圖像中的物體、場景等。例如,在目標檢測任務(wù)中,需要利用模式識別技術(shù)從圖像中檢測出特定類別的物體。模式識別可以應(yīng)用于各種類型的數(shù)據(jù),不僅限于圖像。模式識別更側(cè)重于從特征空間到類別空間的變換,即根據(jù)提取的特征對物體進行分類;而計算機視覺則更關(guān)注于整個圖像或視頻內(nèi)容的理解和分析。3.機器學(xué)習(xí)5.1.3計算機視覺與相關(guān)領(lǐng)域的聯(lián)系與區(qū)別都是數(shù)據(jù)驅(qū)動的技術(shù)。在計算機視覺中，數(shù)據(jù)通常是圖像和視頻，因此應(yīng)用場景通常與圖像和視頻相關(guān)，如人臉識別、自動駕駛、醫(yī)療影像分析等；在機器學(xué)習(xí)中，數(shù)據(jù)可以是任何類型的數(shù)據(jù)，包括文本、音頻、圖像等，其應(yīng)用場景則更加廣泛，包括推薦系統(tǒng)、語音識別、自然語言處理等多個領(lǐng)域。計算機視覺廣泛使用機器學(xué)習(xí)算法來識別圖像中的模式和對象。在計算機視覺中，機器學(xué)習(xí)技術(shù)被用于提取圖像和視頻中的特征，這些特征對于后續(xù)的圖像分析和識別至關(guān)重要。機器學(xué)習(xí)是人工智能的一個核心技術(shù)，它涉及計算機通過學(xué)習(xí)來自數(shù)據(jù)的信息，自主地提取規(guī)律和做出決策的技術(shù)。機器學(xué)習(xí)的主要任務(wù)是從數(shù)據(jù)中學(xué)習(xí)出規(guī)律，并根據(jù)這些規(guī)律做出合適的決策。0102035.1.3計算機視覺與相關(guān)領(lǐng)域的聯(lián)系與區(qū)別深度學(xué)習(xí)的核心是神經(jīng)網(wǎng)絡(luò)，尤其是多層神經(jīng)網(wǎng)絡(luò)，如DNN。深度學(xué)習(xí)是機器學(xué)習(xí)的一個子集，它通過模擬人腦神經(jīng)元的結(jié)構(gòu)和工作方式，使計算機能夠從經(jīng)驗中學(xué)習(xí)并以概念層次結(jié)構(gòu)的方式理解世界。深度學(xué)習(xí)可以處理比傳統(tǒng)機器學(xué)習(xí)更大、更復(fù)雜的數(shù)據(jù)集，并且可以自動地學(xué)習(xí)數(shù)據(jù)中的特征，而不需要人工進行特征提取，取得了比傳統(tǒng)機器學(xué)習(xí)方法更好的結(jié)果，在計算機視覺、語音識別、自然語言處理、強化學(xué)習(xí)等領(lǐng)域都取得了巨大成功。4.深度學(xué)習(xí)深度學(xué)習(xí)中常見的算法包括CNN、RNN、GAN、AE、Transformer和注意力機制等。這些算法各有其特點和適用的場景，需要根據(jù)具體問題的需求選擇或設(shè)計合適的算法。5.1.3計算機視覺與相關(guān)領(lǐng)域的聯(lián)系與區(qū)別5.機器人學(xué)計算機視覺技術(shù)為機器人提供了豐富的視覺信息輸入，使機器人能夠更好地理解環(huán)境和任務(wù)需求，并做出更加合理的決策。機器人學(xué)（Robotics）是研究機器人設(shè)計、制造、感知、決策、行動和控制等問題的綜合性學(xué)科。5.1.3計算機視覺與相關(guān)領(lǐng)域的聯(lián)系與區(qū)別6．增強現(xiàn)實增強現(xiàn)實是一種將實際場景與計算機生成的虛擬世界進行融合的新型技術(shù)。其原理是通過攝像頭等設(shè)備捕捉實際物體或環(huán)境的信息，經(jīng)過計算機識別、處理后再映射出虛擬內(nèi)容，將虛擬和現(xiàn)實進行疊加展示，讓用戶感受到現(xiàn)實與數(shù)字的交互性。增強現(xiàn)實技術(shù)已經(jīng)廣泛應(yīng)用于游戲、娛樂、教育、醫(yī)療、工業(yè)等眾多領(lǐng)域。計算機視覺的核心技術(shù)，如圖像識別、特征提取、跟蹤與定位等為增強現(xiàn)實提供了實時處理和分析實際場景信息的能力。計算機視覺技術(shù)的發(fā)展為增強現(xiàn)實提供了更加精確和高效的視覺感知和交互方式。例如，通過AR游戲應(yīng)用，用戶可以在現(xiàn)實環(huán)境中與虛擬角色進行互動和戰(zhàn)斗；在醫(yī)療領(lǐng)域，醫(yī)生可以通過佩戴AR眼鏡來查看患者的內(nèi)部結(jié)構(gòu)和手術(shù)路徑，提高手術(shù)的精確性和安全性。5.1.3計算機視覺與相關(guān)領(lǐng)域的聯(lián)系與區(qū)別7.自然語言處理例如,在視覺問答系統(tǒng)中,計算機需要同時運用計算機視覺技術(shù)來識別圖像內(nèi)容,并運用自然語言處理技術(shù)來理解問題并生成自然語言答案。自然語言處理和計算機視覺在人工智能領(lǐng)域中相輔相成。自然語言處理技術(shù)使計算機能夠理解和生成人類語言,而計算機視覺技術(shù)則使計算機能夠“看到”并理解圖像和視頻內(nèi)容。兩者結(jié)合可以實現(xiàn)從圖像到語言描述的轉(zhuǎn)化,或者根據(jù)語言描述生成對應(yīng)的圖像內(nèi)容。5.1.3計算機視覺與相關(guān)領(lǐng)域的聯(lián)系與區(qū)別8.數(shù)據(jù)科學(xué)數(shù)據(jù)科學(xué)(DataScience)使用統(tǒng)計和機器學(xué)習(xí)技術(shù)來分析數(shù)據(jù),計算機視覺可以提供從圖像中提取的數(shù)據(jù)。數(shù)據(jù)科學(xué)是一個更廣泛的領(lǐng)域,包括數(shù)據(jù)收集、清洗、分析和可視化,而計算機視覺專注于視覺數(shù)據(jù)的處理。5.1.4應(yīng)用領(lǐng)域計算機視覺的應(yīng)用領(lǐng)域01自動駕駛用于車輛的行駛路線規(guī)劃、障礙物檢測和避讓、交通信號識別等。07農(nóng)業(yè)領(lǐng)域用于種植和收獲自動化、作物識別和病害檢測等。02工業(yè)制造在機器人視覺系統(tǒng)、缺陷檢測、質(zhì)量控制、零件識別和裝配等方面發(fā)揮重要作用。06垃圾分類實現(xiàn)垃圾自動分揀、可回收物分類等。03醫(yī)療診斷輔助醫(yī)生進行醫(yī)學(xué)影像分析、疾病診斷和治療監(jiān)測等。05增強現(xiàn)實在虛擬現(xiàn)實、游戲、電影和電視特效等方面得到應(yīng)用。04安防監(jiān)控用于人臉識別、行為分析、犯罪偵查等。5.2計算機視覺的基本任務(wù)5.2.1圖像分類5.2.3圖像分割5.2.2目標檢測與定位5.2.1圖像分類圖像分類是計算機視覺領(lǐng)域中的一項基礎(chǔ)且重要的任務(wù)，其目標是根據(jù)圖像中的特征將圖像劃分到預(yù)定義的類別中。通俗地說，圖像分類是讓計算機觀察一幅圖像，對圖像上的對象進行識別并分類，主要解決圖像中對象“是什么（What）”的問題。例如，給出一張圖片，圖像分類任務(wù)能夠識別出這是一只貓還是一只狗，如圖5-2所示。5.2.1圖像分類圖像分類的基本原理是通過對圖像的特征進行提取,并將這些特征與預(yù)先訓(xùn)練好的模型進行比較,從而判斷圖像所屬的類別。這類模型稱為分類模型,它輸出一個概率分布,表示輸入數(shù)據(jù)屬于每個類別的可能性。基本原理常用的特征提取方法包括傳統(tǒng)的手工設(shè)計特征和深度學(xué)習(xí)方法。傳統(tǒng)的手工設(shè)計特征通常包括顏色特征、紋理特征和形狀特征等,但這些方法在處理復(fù)雜的圖像時往往效果不佳。深度學(xué)習(xí)方法通過構(gòu)建深度神經(jīng)網(wǎng)絡(luò),可以自動地從圖像中學(xué)習(xí)到更具有判別性的特征。特征提取方法5.2.1圖像分類圖像分類技術(shù)的應(yīng)用電商：自動識別和分類商品圖片，幫助用戶快速找到想要的商品，提高購物體驗。制造業(yè)：實時監(jiān)測流水線上的產(chǎn)品，快速識別不合格品或特定部件，提高生產(chǎn)效率和產(chǎn)品質(zhì)量。安防監(jiān)控：用于人員識別、行為分析以及異常檢測等，有效提升公共安全。自動駕駛：識別道路、行人、車輛等，確保行駛安全。醫(yī)療：對X光片、CT掃描等影像進行分類，幫助醫(yī)生更快地診斷疾病，如腫瘤識別等。智能家居：用于識別家庭成員、寵物或家具等，以實現(xiàn)更加智能化的家居控制。0103020406055.2.2目標檢測與定位定位則是目標檢測中的一個關(guān)鍵環(huán)節(jié),它要求算法能夠精確定位出每個目標的位置和大小,通常用邊界框(BoundingBox)來表示。它主要解決圖像中特定對象“在哪里(Where)”問題。計算機視覺任務(wù)中的目標檢測與定位是兩個相輔相成的任務(wù)。目標檢測要求算法能夠識別出圖像中的物體并確定其類別和位置,即解決“是什么、在哪里(What、Where)”問題;圖5-3（a）對圖片中物體進行識別，分為bottle、cup和cube三類，圖5-3（b）則對這些物體進行檢測與定位，把每一個物體都用邊界框框起來。5.2.2目標檢測與定位（1）自動駕駛：用于識別行人、車輛、交通標志等，確保車輛行駛安全。（2）視頻監(jiān)控：用于實時監(jiān)測并報警關(guān)鍵區(qū)域內(nèi)的異常行為，如入侵檢測、非法停車等。（3）醫(yī)學(xué)影像：用于定位和識別病變或器官，輔助醫(yī)生進行診斷和治療規(guī)劃。（5）交通管理：用于交通流量監(jiān)控與紅綠燈配時控制，以及異常事件檢測。（4）工業(yè)檢測：用于產(chǎn)品質(zhì)檢、設(shè)備狀態(tài)監(jiān)測、異常行為識別等，提高生產(chǎn)線的效率和質(zhì)量。目標檢測與定位5.2.3圖像分割圖像的語義分割是將圖像中的每個像素分配給特定的類別標簽,從而實現(xiàn)對圖像內(nèi)容的細粒度理解。這一過程不僅要求準確識別出圖像中的不同對象或區(qū)域,還需要精確到像素級別進行分類。語義分割不考慮同一類別中不同實例的區(qū)分,即只要像素屬于同一類別,就被賦予相同的標簽。如圖5-3(c)所示。01圖像實例分割的目標超越了簡單的類別劃分,而是深入圖像中的每一個具體目標實例,實現(xiàn)精準的分割與獨一無二的標記。這一技術(shù)不僅要求系統(tǒng)能夠識別出圖像中存在的所有不同對象,還需進一步區(qū)分這些對象中的每一個獨立實例,并為其賦予獨特的身份標識。如圖5-3(d)所示。02全景分割是實例和語義分割的融合,旨在區(qū)分場景中的事物。它巧妙地將實例分割與語義分割的優(yōu)勢融為一體,為我們提供了一個前所未有的視角來審視和理解圖像中的世界。它不僅僅是對圖像中的物體進行簡單的分類和識別,更是深入每一個細節(jié),將場景中的元素劃分為“thing”與“stuff”兩大類。035.2.3圖像分割全景分割5.2.3圖像分割語義分割的技術(shù)難點語義分割的技術(shù)難點一個核心的技術(shù)難點在于實現(xiàn)像素級別的極高分類精度。這意味著模型不僅需要具備強大的分類能力,還需展現(xiàn)出卓越的細節(jié)捕捉和區(qū)分能力,以確保每個像素都能被準確無誤地分配到其所屬類別中。這對模型的泛化性能和在復(fù)雜場景下的適應(yīng)性提出了嚴苛的要求。另一個顯著的技術(shù)挑戰(zhàn)在于如何處理不同類別之間的邊界區(qū)域,特別是在這些邊界模糊或場景復(fù)雜多變的情況下。模型需要能夠精確地識別并分割出相鄰但屬于不同類別的像素區(qū)域,即便在它們之間的界限不夠清晰或受到多種因素干擾時也能保持高度的準確性。這要求模型具備強大的特征提取和邊界感知能力,以應(yīng)對各種復(fù)雜多變的場景。語義分割的應(yīng)用在自動駕駛領(lǐng)域?qū)崟r解析復(fù)雜的道路場景,精準地將道路邊界、行駛中的車輛、行人乃至交通標志等關(guān)鍵元素一一區(qū)分并標注。這一能力為自動駕駛系統(tǒng)提供了全面且精確的環(huán)境感知,使得車輛能夠在復(fù)雜多變的交通環(huán)境中做出更加明智的決策,確保安全行駛的同時,優(yōu)化路徑規(guī)劃,提升駕駛效率。面對復(fù)雜的醫(yī)療影像,它能夠自動且準確地識別并分割出人體內(nèi)的各種組織結(jié)構(gòu),如器官、血管、腫瘤等。這一技術(shù)不僅極大地提高了醫(yī)生的工作效率,減少了人為誤差,還使得醫(yī)生能夠更加直觀地觀察和分析病變區(qū)域,為精準診斷和治療方案的制定提供了有力支持。通過對衛(wèi)星拍攝的海量圖像進行深度分析,它能夠自動識別并區(qū)分出地表的不同類型,如水域、森林、城市建筑等。這一能力為城市規(guī)劃者、環(huán)境監(jiān)測專家等提供了寶貴的信息資源,幫助他們更好地了解地球表面的變化情況,為科學(xué)決策和環(huán)境保護提供有力支持。在醫(yī)學(xué)影像分析領(lǐng)域在衛(wèi)星圖像處理領(lǐng)域?qū)嵗指畹膽?yīng)用在機器人視覺領(lǐng)域在虛擬現(xiàn)實和增強現(xiàn)實領(lǐng)域這一技術(shù)為機器人提供了強大的環(huán)境感知能力。機器人能夠利用實例分割技術(shù)識別并分割周圍環(huán)境中的各類物體,從而更準確地理解自身所處的環(huán)境,為后續(xù)的導(dǎo)航、避障、抓取等操作提供有力支持。圖像實例分割同樣發(fā)揮著重要作用。通過精準識別并分割真實世界中的不同實體,該技術(shù)能夠助力實現(xiàn)虛擬元素與現(xiàn)實世界的無縫融合與交互。用戶可以在虛擬環(huán)境中與真實物體進行互動,享受更加沉浸式的體驗。全景分割“thing”類,顧名思義,指的是那些可以明確計數(shù)、具有明確邊界的物體,例如街道上行駛的汽車、行走的人群,或是家中擺放的家具。全景分割技術(shù)能夠精準地識別出這些物體,并為它們各自分配一個獨特的身份標識,就像是為它們穿上了不同顏色的衣服,讓它們在圖像中一目了然,互不干擾?！皌hing”類“stuff”類,則是指那些難以計數(shù)、邊界模糊的背景元素,例如廣闊的天空、蜿蜒的道路或郁郁蔥蔥的草地。這些元素雖然不像“thing”類物體那樣具有明確的個體特征,但它們在場景中同樣扮演著不可或缺的角色。全景分割技術(shù)同樣能夠準確地描繪出這些背景元素的輪廓和范圍,為整個場景的理解提供完整的背景信息?！皊tuff”類5.3計算機視覺常見應(yīng)用5.3.1圖像技術(shù)5.3.3人臉識別及其應(yīng)用5.3.2OCR及其應(yīng)用5.3.4人體分析及其應(yīng)用5.3計算機視覺常見應(yīng)用以在百度AI開放平臺人工智能能力體驗中心上操作各項功能應(yīng)用檢驗的方式介紹計算機視覺領(lǐng)域的一些應(yīng)用。/experience開發(fā)調(diào)用百度提供的SDK和API來開發(fā)自己的應(yīng)用則放在實驗部分。實驗4百度人工智能能力應(yīng)用體驗實驗5基于百度AI開放平臺的文字識別應(yīng)用開發(fā)實驗6基于百度AI開放平臺的人臉識別考勤應(yīng)用開發(fā)5.3.1圖像技術(shù)圖像增強圖像特效圖像識別圖像搜索圖像生成圖像審核圖像增強是指通過一系列算法改善圖像質(zhì)量的過程，它并不改變圖像的現(xiàn)實內(nèi)容，而是增強圖像的視覺效果，使得圖像更加清晰、對比度更高、細節(jié)更明顯，便于人眼觀察或機器分析。圖像增強技術(shù)在醫(yī)療成像、衛(wèi)星遙感、視頻監(jiān)控和數(shù)字攝影等領(lǐng)域都有廣泛的應(yīng)用。如在X光、CT、MRI等醫(yī)學(xué)影像中，圖像增強技術(shù)可以幫助醫(yī)生更清晰地看到病變區(qū)域，如腫瘤、骨折等，從而提高診斷的準確性；在衛(wèi)星遙感圖像中，圖像增強技術(shù)可以突出顯示特定的地物特征，如城市建筑、農(nóng)田、森林等，有助于進行地物分類和識別；在電影、電視劇等影視作品的制作過程中，圖像增強技術(shù)可以用于調(diào)整畫面色彩、亮度、對比度等，提升觀眾的視覺體驗。1．圖像增強百度人工智能開放創(chuàng)新平臺的圖像增強技術(shù)包括：（1）圖像去霧（2）圖像對比度增強（3）圖像無損放大（4）拉伸圖像恢復(fù)（5）圖像修復(fù)（6）圖像清晰度增強（7）圖像色彩增強（8）圖片去摩爾紋（9）文檔圖片去底紋（10）圖像去噪登錄百度AI能力體驗中心網(wǎng)頁后點擊“圖像增強與特效”后選擇相應(yīng)技術(shù)或在百度智能云產(chǎn)品頁面/products/index.html點擊“人工智能→圖像技術(shù)”查看或體驗1．圖像增強1．圖像增強圖像特效，即特殊效果，是指通過技術(shù)手段在圖像上創(chuàng)造出的非現(xiàn)實或超現(xiàn)實的效果，以增強視覺效果、表達藝術(shù)創(chuàng)意或?qū)崿F(xiàn)特定目的。百度人工智能開放創(chuàng)新平臺的圖像特效技術(shù)包括：（1）黑白圖像上色（2）圖像風(fēng)格轉(zhuǎn)換（3）人像動漫化（4）自定義圖像風(fēng)格2.圖像特效2.圖像特效圖像識別是指利用計算機視覺技術(shù)對圖像進行分析、識別和理解的過程。這種技術(shù)可以幫助計算機“看懂”圖像，從而實現(xiàn)自動化處理、智能化判斷等功能。百度人工智能開放創(chuàng)新平臺的圖像識別技術(shù)精準識別超過十萬種物體和場景。（1）通用物體和場景識別（2）植物識別（3）動物識別（4）菜品識別（5）地標識別（6）果蔬識別（7）紅酒識別3.圖像識別（8）貨幣識別（9）圖像主體檢測（10）車型識別（11）車輛檢測（12）品牌logo識別（13）翻拍識別（14）圖像內(nèi)容理解3.圖像識別以圖搜圖，在指定圖庫中搜索出相同或相似的圖片，適用于圖片精確查找、相似素材搜索、拍照搜同款商品、相似商品推薦等場景。包括：（1）相同圖片搜索（2）相似圖片搜索（3）商品圖片搜索（4）繪本圖片搜索（5）面料圖片搜索4.圖像搜索圖像生成是一種利用人工智能技術(shù)，特別是深度學(xué)習(xí)算法，來創(chuàng)造新的圖像或藝術(shù)作品的過程。百度的圖像生成技術(shù)也叫AI作畫，是國內(nèi)首個技術(shù)自研、基于大模型的通用且可控的文生圖系統(tǒng)，可基于自然語言智能生成不限定風(fēng)格的圖像，面向有圖片創(chuàng)作需求的開發(fā)者提供API調(diào)用服務(wù)，為內(nèi)容創(chuàng)作者提供靈感和高質(zhì)量配圖。其應(yīng)用場景包括制作圖片素材、藝術(shù)插圖、海報制作、故事插圖、壁紙制作、電商應(yīng)用、室內(nèi)設(shè)計、影視制作、游戲原畫設(shè)計、服務(wù)創(chuàng)意啟發(fā)平臺等。5.圖像生成圖像審核，也被稱作圖像內(nèi)容識別或圖像過濾，是一種人工智能技術(shù)，主要用于自動檢測圖像內(nèi)可能包含的不當或違規(guī)元素。這些元素可能包括色情內(nèi)容、暴力或恐怖主義相關(guān)圖像、政治敏感信息、惡意廣告以及侵犯版權(quán)的素材等。在互聯(lián)網(wǎng)平臺上，這種技術(shù)的應(yīng)用至關(guān)重要，旨在防止用戶接觸有害內(nèi)容，并幫助平臺遵循相關(guān)法規(guī)政策。（1）百度違禁圖庫（2）色情識別（3）敏感信息識別（4）公眾人物識別（5）用戶頭像審核（6）圖文審核6.圖像審核（7）廣告檢測（8）違禁識別（9）直播場景審核（10）惡心圖像識別（11）圖像質(zhì)量檢測（12）自定義圖像黑名單（13）自定義圖像白名單5.3.2OCR及其應(yīng)用OCR（OpticalCharacterRecognition，光學(xué)字符識別）技術(shù)是一種重要的圖像識別技術(shù)，它是一種將各種形式的文字，如印刷體、手寫體等，從圖像中識別并提取出來的技術(shù)。5.3.2OCR及其應(yīng)用4321對輸入的圖像進行去噪、二值化、傾斜校正等處理,以提高后續(xù)文字識別的準確性。圖像預(yù)處理一般包括校對和格式化。校對是指使用語言模型和字典來糾正識別錯誤。格式化是指將識別出的文本按照原始文檔的格式進行排版或?qū)⒆R別出來的文字填在指定的字段里。后處理文字檢測與分割在圖像中定位和分割出文字區(qū)域。這一步通常使用卷積神經(jīng)網(wǎng)絡(luò)等深度學(xué)習(xí)算法進行特征提取,并結(jié)合區(qū)域提議網(wǎng)絡(luò)等技術(shù)實現(xiàn)文字區(qū)域的精確定位。文字識別將檢測到的文字區(qū)域中的字符轉(zhuǎn)換為計算機可讀的字符信息。這一步同樣依賴于深度學(xué)習(xí)算法,如循環(huán)神經(jīng)網(wǎng)絡(luò)或結(jié)合注意力機制的卷積神經(jīng)網(wǎng)絡(luò)等。OCR技術(shù)的實現(xiàn)主要有以下幾個步驟OCR的應(yīng)用文檔掃描和歸檔:將紙質(zhì)文檔掃描并轉(zhuǎn)換為可編輯和可搜索的電子文本,方便文檔的存儲、檢索和共享。01表單處理:自動化表單處理和數(shù)據(jù)輸入,如調(diào)查問卷、表格報告、票據(jù)處理等。03金融行業(yè):在銀行和金融領(lǐng)域,OCR技術(shù)用于支票處理、銀行卡識別、交易數(shù)據(jù)錄入等,提高業(yè)務(wù)處理效率和準確性。05物流行業(yè):貨物信息錄入、快遞單號識別等,提升物流行業(yè)的自動化水平。0702040608印刷媒體處理:處理大量的印刷媒體,如報紙、雜志、書籍等,實現(xiàn)快速的文本轉(zhuǎn)換和信息提取。證件識別:識別和提取身份證、護照、駕駛證等證件上的文字信息,用于身份驗證、邊境控制等。教育行業(yè):試卷掃描、學(xué)生作業(yè)批改等,提高教學(xué)評估和作業(yè)處理的效率。零售業(yè):商品條形碼識別、價格標簽錄入等,提高銷售效率和客戶滿意度。百度AI能力體驗中心頁面可以檢驗如下文字識別技術(shù)：（1）通用文字識別（2）卡證文字識別（3）交通文字識別（4）票據(jù)文字識別（5）其他文字識別OCR的應(yīng)用5.3.3人臉識別及其應(yīng)用人臉識別技術(shù)是一種基于人的臉部特征信息進行身份識別的生物識別技術(shù)。它通過攝像機或攝像頭采集含有人臉的圖像或視頻流，并自動在圖像中檢測和跟蹤人臉，進而對檢測到的人臉進行臉部識別的一系列相關(guān)技術(shù)，通常也被稱為人像識別或面部識別。5.3.3人臉識別及其應(yīng)用是對人臉進行特征建模的過程,提取的特征數(shù)據(jù)通常包括視覺特征、像素統(tǒng)計特征、人臉圖像變換系數(shù)特征、人臉圖像代數(shù)特征等。提取的人臉圖像特征數(shù)據(jù)與數(shù)據(jù)庫中存儲的特征模板進行搜索匹配。通過設(shè)定一個閾值,當相似度超過這一閾值時,則把匹配得到的結(jié)果輸出,從而實現(xiàn)對人臉的身份識別。采集設(shè)備自動搜索并拍攝用戶的人臉圖像。人臉檢測是在圖像中準確標定出人臉的位置和大小,并提取有用的信息(如直方圖特征、顏色特征等)用于后續(xù)處理。原始圖像可能受到各種條件的限制和隨機干擾,因此需要進行灰度校正、噪聲過濾等預(yù)處理操作,以便更好地服務(wù)于特征提取。人臉圖像采集及檢測人臉圖像預(yù)處理人臉圖像特征提取匹配與識別人臉識別技術(shù)的核心在于對人臉圖像特征的提取與對比。其技術(shù)流程為：百度AI開放平臺提供了以下人臉識別方面的服務(wù)體驗。1.人臉對比2.人臉搜索3.人臉檢測與屬性分析4.人臉屬性編輯5.人臉融合6.活體檢測5.3.3人臉識別及其應(yīng)用5.3.3人臉識別及其應(yīng)用