高光譜和多光譜成像

高光譜和多光譜成像是兩種類似的技術(shù)，在過(guò)去二十年中，這兩種技術(shù)的重要性和實(shí)用性不斷提高。這些術(shù)語(yǔ)通常被合并為具有相同的含義，但代表兩種不同的成像方法，每種方法都有自己的應(yīng)用空間。與傳統(tǒng)的機(jī)器視覺(jué)成像方法相比，這兩種技術(shù)都具有優(yōu)勢(shì)，后者利用來(lái)自可見(jiàn)光譜（400-700nm）的光。然而，在照明、濾波和光學(xué)設(shè)計(jì)方面，這些好處伴隨著系統(tǒng)復(fù)雜性的增加。在典型的機(jī)器視覺(jué)應(yīng)用中，傳感器使用和捕獲的照明在可見(jiàn)光譜中。這部分光譜由人眼唯一能檢測(cè)到的光組成，范圍從大約400nm（紫色）到700nm（暗紅色）（圖1）。成像透鏡組件和傳感器通常具有大約550nm的峰值光譜靈敏度。相機(jī)傳感器的量子效率是將光子轉(zhuǎn)換為電信號(hào)的能力；這種效率在紫外線或近紅外線中顯著降低。最簡(jiǎn)單地說(shuō)，高光譜成像（HSI）是一種捕獲圖像的方法，該圖像包含來(lái)自電磁光譜更廣泛部分的信息。這部分可以從紫外線開始，延伸到可見(jiàn)光譜，最后到達(dá)近紅外或短波紅外。該擴(kuò)展的波長(zhǎng)范圍可以揭示在其他方面不明顯的材料組成的性質(zhì)。圖1：只有一小部分波長(zhǎng)光譜對(duì)人眼可見(jiàn)，可見(jiàn)光譜之外的波長(zhǎng)區(qū)域用于高光譜和多光譜成像。機(jī)器視覺(jué)傳感器輸出灰度值陣列，從而在觀看區(qū)域內(nèi)產(chǎn)生物體的2D圖像。它的功能用途通常是用于分類、測(cè)量或定位對(duì)象的特征識(shí)別。視覺(jué)系統(tǒng)不知道用于照明的波長(zhǎng)，除非使用濾光器。對(duì)于具有拜耳模式（RGB）濾波器的傳感器來(lái)說(shuō)，情況并非如此，但即使如此，每個(gè)像素也被限制接受來(lái)自窄帶波長(zhǎng)的光，而相機(jī)軟件是最終分配顏色的原因。在真正的高光譜圖像中，每個(gè)像素對(duì)應(yīng)于坐標(biāo)、信號(hào)強(qiáng)度和波長(zhǎng)信息。因此，HSI通常被稱為成像光譜學(xué)。順便說(shuō)一句，光譜儀收集波長(zhǎng)信息以及檢測(cè)到的不同波長(zhǎng)的相對(duì)強(qiáng)度信息。這些設(shè)備通常從樣本上的單一光源或位置收集光。光譜儀可用于檢測(cè)散射和反射特定波長(zhǎng)的物質(zhì)，或基于熒光或磷光發(fā)射的材料成分。HSI系統(tǒng)通過(guò)將位置數(shù)據(jù)分配給收集的光譜，將這項(xiàng)技術(shù)提升到了一個(gè)新的水平。高光譜系統(tǒng)不輸出2D圖像，而是輸出高光譜數(shù)據(jù)立方體或圖像立方體。使用了四種主要的高光譜采集模式，每種模式都有一系列優(yōu)點(diǎn)和缺點(diǎn)（圖2）。掃頻法是一種點(diǎn)掃描過(guò)程，每次獲取一個(gè)空間坐標(biāo)的光譜信息。這種方法往往提供最高水平的光譜分辨率，但需要系統(tǒng)在x軸和y軸上掃描目標(biāo)區(qū)域，這大大增加了總采集時(shí)間。推送室方法是一種線掃描數(shù)據(jù)捕獲，其中當(dāng)一行像素在一個(gè)區(qū)域上掃描以捕獲光譜和位置信息時(shí)，需要單個(gè)空間移動(dòng)軸。這些推送室系統(tǒng)可以具有“緊湊的尺寸、低重量、更簡(jiǎn)單的操作和更高的信噪比”。當(dāng)使用這種HSI方法時(shí)，準(zhǔn)確地確定曝光時(shí)間是至關(guān)重要的。不正確的曝光時(shí)間將導(dǎo)致光譜帶的飽和度不一致或曝光不足。這種稱為平面掃描的方法一次對(duì)整個(gè)2D區(qū)域進(jìn)行成像，但在每個(gè)波長(zhǎng)間隔進(jìn)行，并涉及多次圖像捕獲，以創(chuàng)建高光譜數(shù)據(jù)立方體的光譜深度。雖然這種捕捉方法不需要傳感器或整個(gè)系統(tǒng)的平移，但在采集過(guò)程中受試者不移動(dòng)是至關(guān)重要的；否則位置和光譜信息的準(zhǔn)確性將受到損害。第四種也是最近開發(fā)的高光譜圖像采集模式被稱為單次拍攝或快照。單次成像儀在一個(gè)積分周期內(nèi)收集整個(gè)高光譜數(shù)據(jù)立方體。盡管單次拍攝似乎是HSI實(shí)現(xiàn)的首選未來(lái)，但它目前受到相對(duì)較低的空間分辨率的限制，需要進(jìn)一步開發(fā)。圖2：四種主要的高光譜采集模式，包括（A）點(diǎn)掃描或掃帚模式、（B）線掃描或推室模式、（C）平面掃描或區(qū)域掃描模式和（D）單次拍攝模式。多光譜成像（MSI）系統(tǒng)與高光譜成像系統(tǒng)相似，但有關(guān)鍵區(qū)別。與HSI的有效連續(xù)波長(zhǎng)數(shù)據(jù)收集相比，MSI專注于基于手頭應(yīng)用的幾個(gè)預(yù)選波段。雖然不是一個(gè)直接的例子或比較，但常見(jiàn)的RGB傳感器有助于說(shuō)明這一概念。RGB傳感器覆蓋有拜耳圖案，由紅色、綠色和藍(lán)色濾光片組成。這些濾光器允許來(lái)自特定色帶的波長(zhǎng)被像素吸收，而其余的光被衰減。帶通濾波器具有在400-700nm范圍內(nèi)的透射帶，并且具有輕微的光譜重疊。這方面的一個(gè)例子可以在圖3中看到。然后，捕捉到的圖像被渲染為假彩色，以接近人眼所看到的。在大多數(shù)多光譜成像應(yīng)用中，波段明顯更窄，數(shù)量更多。波段通常在幾十納米的數(shù)量級(jí)上，并且不僅僅是可見(jiàn)光譜的一部分。根據(jù)應(yīng)用，UV、NIR和熱波長(zhǎng)（中波IR）也可以具有隔離通道。圖3：RGB相機(jī)曲線的量子效率曲線，顯示紅色、綠色和藍(lán)色之間的重疊。一些人認(rèn)為MSI是HSI的一種更糟糕的形式，具有較低的光譜分辨率。事實(shí)上，這兩種技術(shù)都有各自的優(yōu)勢(shì)，使它們成為不同任務(wù)的首選工具。HSI最適合對(duì)連續(xù)頻譜上信號(hào)的細(xì)微差異敏感的應(yīng)用。這些小信號(hào)可能會(huì)被采樣較大波段的系統(tǒng)錯(cuò)過(guò)。然而，一些系統(tǒng)需要屏蔽電磁頻譜的重要部分，以選擇性地捕獲光（圖4）。其他波長(zhǎng)可能會(huì)產(chǎn)生顯著的噪聲，這可能會(huì)破壞測(cè)量和觀測(cè)。此外，如果數(shù)據(jù)立方體中包含的光譜信息較少，則可以更快地進(jìn)行圖像捕獲、處理和分析。圖4：多光譜成像和高光譜成像中圖像堆棧的比較，前者有在幾個(gè)不同光譜中拍攝的圖像，后者有在許多不同光譜中獲取的圖像。需要使用HSI和MSI的應(yīng)用程序空間的數(shù)量繼續(xù)增長(zhǎng)。遙感，即使用無(wú)人機(jī)和衛(wèi)星對(duì)地球表面進(jìn)行空中成像，幾十年來(lái)一直依賴HSI和MSI。光譜攝影可以穿透地球的大氣層和不同的云層，以獲得下面地面的清晰景象。這項(xiàng)技術(shù)可以用于監(jiān)測(cè)人口變化、觀察地質(zhì)變化和研究考古遺址。此外，HSI和MSI技術(shù)在環(huán)境研究中變得越來(lái)越重要?？梢允占嘘P(guān)森林砍伐、生態(tài)系統(tǒng)退化、碳回收和日益不穩(wěn)定的天氣模式的數(shù)據(jù)。研究人員利用收集到的信息創(chuàng)建全球生態(tài)的預(yù)測(cè)模型，這推動(dòng)了許多旨在應(yīng)對(duì)氣候變化和人類對(duì)自然影響的環(huán)境倡議。在醫(yī)學(xué)領(lǐng)域也是如此。現(xiàn)在，醫(yī)生可以在高光譜成像的幫助下對(duì)皮膚進(jìn)行無(wú)創(chuàng)掃描，以檢測(cè)病變或惡性細(xì)胞。某些波長(zhǎng)更適合深入皮膚，從而更詳細(xì)地了解患者的病情。癌癥和其他患病細(xì)胞現(xiàn)在很容易與健康組織區(qū)分開來(lái)，因?yàn)樗鼈儠?huì)在正確的刺激下發(fā)出熒光并吸收光。醫(yī)生不再需要根據(jù)他們所能看到的情況和患者對(duì)癥狀的描述做出有根據(jù)的猜測(cè)。復(fù)雜的系統(tǒng)可以記錄和自動(dòng)解釋光譜數(shù)據(jù)，從而大大加快診斷和快速處理準(zhǔn)確的需求區(qū)域。生命科學(xué)和遙感只是這些技術(shù)產(chǎn)生巨大影響的少數(shù)幾個(gè)主題。更具體的市場(chǎng)領(lǐng)域包括農(nóng)業(yè)、食品質(zhì)量和安全、藥品和醫(yī)療保健。3農(nóng)民發(fā)現(xiàn)這些工具特別有用，可以決定作物的生長(zhǎng)。拖拉機(jī)和無(wú)人機(jī)可以配備光譜成像儀，在進(jìn)行低空遙感的同時(shí)對(duì)田地進(jìn)行掃描。然后，農(nóng)民們分析捕捉到的圖像的光譜特征。這些特征有助于確定植物的總體健康狀況、土壤狀態(tài)、用某些化學(xué)物質(zhì)處理過(guò)的區(qū)域，或者是否存在感染等有害物質(zhì)。所有信息都有獨(dú)特的光譜標(biāo)記，可以捕捉、分析并用于確保農(nóng)產(chǎn)品的最佳生產(chǎn)。盡管受益于HSI和MSI的應(yīng)用空間很大，而且還在增加，但當(dāng)前技術(shù)的局限性導(dǎo)致行業(yè)采用緩慢。目前，與其他機(jī)器視覺(jué)組件相比，這些系統(tǒng)明顯更昂貴。傳感器需要更復(fù)雜，具有更寬的光譜靈敏度，并且必須精確校準(zhǔn)。傳感器芯片通常需要使用硅以外的襯底，硅僅對(duì)大約200-1000nm敏感。砷化銦（InAs）、砷化鎵（GaAs）或砷化銦鎵（InGaAs）可用于收集高達(dá)2600nm的光。如果要求通過(guò)MWIR從NIR成像，則需要汞鎘碲（MCT或HgCdTe）傳感器、銻化銦（InSb）焦平面陣列、砷化銦鎵（InGaAs）焦平面數(shù)組、微測(cè)輻射熱計(jì)或其他更長(zhǎng)波長(zhǎng)的傳感器。這些系統(tǒng)中使用的傳感器和像素也需要比許多機(jī)器視覺(jué)傳感器更大，才能達(dá)到所需的靈敏度和空間分辨率。當(dāng)將這些高端傳感器與合適的光學(xué)組件配對(duì)時(shí)，會(huì)出現(xiàn)另一個(gè)挑戰(zhàn)。光譜數(shù)據(jù)記錄在很大程度上依賴于帶通濾波器、衍射光學(xué)器件（如棱鏡或光柵），甚至液晶或聲光可調(diào)諧濾波器來(lái)分離不同波長(zhǎng)的光。此外，用于這些相機(jī)的鏡頭必須經(jīng)過(guò)優(yōu)化設(shè)計(jì)，并在巨大的波長(zhǎng)范圍和溫度波動(dòng)中兼容。這些設(shè)計(jì)必須具有更多的光學(xué)元件，這增加了成本和系統(tǒng)重量。元件將需要具有不同的折射率和色散特性以進(jìn)行寬帶顏色校正。不同的玻璃類型也會(huì)導(dǎo)致不同的熱性能和機(jī)械性能。在選擇具有適當(dāng)內(nèi)部透射光譜的眼鏡后，必須在每個(gè)鏡片上涂上寬帶多層防反射涂層，