鏡頭如何匹配圖像傳感器

通常不恰當(dāng)?shù)刈龀龅囊粋€假設(shè)是，除非鏡頭在與其一起使用的傳感器的奈奎斯特頻率下具有相當(dāng)大（>20%）的對比度，否則該鏡頭不適合與特定相機一起使用。事實并非如此。如前所述，在奈奎斯特極限下成像是不明智的，可能會產(chǎn)生幾個問題。需要查看整個系統(tǒng)，以確定鏡頭是否適合給定的相機傳感器，這通常取決于應(yīng)用。下一節(jié)將介紹在奈奎斯特頻率或接近奈奎斯特頻率時成像系統(tǒng)中發(fā)生的情況，以及對整體系統(tǒng)分辨率的影響。理解相機傳感器和成像鏡頭之間的相互作用是設(shè)計和實現(xiàn)機器視覺系統(tǒng)的重要部分。這種關(guān)系的優(yōu)化常常被忽視，它對系統(tǒng)整體分辨率的影響很大。不正確配對的相機/鏡頭組合可能導(dǎo)致在成像系統(tǒng)上浪費金錢。不幸的是，決定在任何應(yīng)用中使用哪個鏡頭和相機并不總是一件容易的事：更多的相機傳感器（直接結(jié)果是更多的鏡頭）繼續(xù)被設(shè)計和制造，以利用新的制造能力并提高性能。這些新的傳感器為鏡頭帶來了許多需要克服的挑戰(zhàn)，并使正確的相機與鏡頭配對變得不那么明顯。第一個挑戰(zhàn)是像素繼續(xù)變小。雖然較小的像素通常意味著較高的系統(tǒng)級分辨率，但一旦考慮到所使用的光學(xué)器件，情況并非總是如此。在一個完美的世界里，系統(tǒng)中沒有衍射或光學(xué)誤差，分辨率將簡單地基于像素的大小和被觀察物體的大?。ㄒ姺直媛剩?。簡而言之，當(dāng)像素尺寸減小時，分辨率增加。當(dāng)較小的對象可以適合較小的像素并且仍然能夠分辨對象之間的間距時，即使該間距減小，也會發(fā)生這種增加。這是一個關(guān)于相機傳感器如何檢測物體的過于簡化的模型，沒有考慮噪聲或其他參數(shù)。鏡頭也有分辨率規(guī)格，但基本原理并不像傳感器那樣容易理解，因為沒有像像素那樣具體的東西。然而，當(dāng)通過鏡頭成像時，有兩個因素最終決定特定物體特征在像素上的對比度再現(xiàn)（調(diào)制傳遞函數(shù)或MTF）：衍射和像差內(nèi)容。任何時候光通過光圈都會發(fā)生衍射，導(dǎo)致對比度降低（艾里斑和衍射極限中的更多細(xì)節(jié)）。像差是發(fā)生在每個成像鏡頭中的誤差，其根據(jù)像差的類型而模糊或錯位圖像信息，如真實世界性能中所述。對于快鏡頭（≤f/4），光學(xué)像差通常是系統(tǒng)偏離衍射極限所規(guī)定的“完美”的原因；在大多數(shù)情況下，如公式1所示，鏡頭在其理論截止頻率（ξcutoffξcutoff）下根本不起作用。將這個等式與相機傳感器聯(lián)系起來，隨著像素頻率的增加（像素大小下降），對比度下降-每個鏡頭都會遵循這一趨勢。然而，這并不能說明鏡頭的真實硬件性能。鏡頭的公差和制造的緊密程度也將對鏡頭的像差內(nèi)容產(chǎn)生影響，并且真實世界的性能將不同于標(biāo)稱的設(shè)計性能。根據(jù)標(biāo)稱數(shù)據(jù)來估計真實世界鏡頭的表現(xiàn)可能會有差異，但實驗室中的測試可以幫助確定特定鏡頭和相機傳感器是否兼容。(1)了解鏡頭在特定傳感器上的表現(xiàn)的一種方法是用美國空軍1951年的棒靶測試其分辨率。條形目標(biāo)比星形目標(biāo)更適合確定鏡頭/傳感器的兼容性，因為它們的特征與正方形（和矩形）像素排列得更好。以下示例顯示了使用相同的高分辨率50mm焦距鏡頭和相同的照明條件在三個不同的相機傳感器上拍攝的測試圖像。然后將每個圖像與鏡頭的標(biāo)稱軸上MTF曲線（藍(lán)色曲線）進(jìn)行比較。在這種情況下僅使用軸上曲線，因為測量對比度的感興趣區(qū)域僅覆蓋傳感器中心的一小部分。圖1A顯示了50mm鏡頭與具有2.2μm像素的1/2.51/2.5ONSemiconductorMT9P031配對時的性能，放大倍率為0.177倍。圖1：（a）2.2μm像素的ONSemiconductorMT9P031、（B）3.45μm像素的SonyIXC655和（C）7.4μm像素的ONSemiconductorKai-4021上的高分辨率50mm鏡頭的標(biāo)稱鏡頭性能與實際性能的比較。紅線、紫線和深綠線分別表示傳感器的奈奎斯特極限。黃線、淺藍(lán)線和淺綠線分別表示傳感器奈奎斯特限值的一半。使用分辨率公式1，傳感器的奈奎斯特分辨率（ξsensor）為227.7，這意味著系統(tǒng)在放大倍率為0.177x時理論上可以成像的最小物體為12.4μm（使用分辨率公式1的替代形式）。(2)請記住，這些計算沒有與之關(guān)聯(lián)的對比度值。圖1A的左側(cè)顯示了美國空軍1951目標(biāo)上的兩個元素的圖像；左圖顯示每個特征兩個像素，右圖顯示每個特征一個像素。在傳感器（227）的奈奎斯特頻率下，系統(tǒng)以8.8%的對比度對目標(biāo)成像，該對比度低于可靠成像系統(tǒng)所推薦的20%的最小對比度。注意，通過將特征尺寸增加兩倍至24.8μm，對比度增加了近三倍。在實際意義上，成像系統(tǒng)在奈奎斯特頻率的一半處將可靠得多。(3)成像系統(tǒng)不能可靠地對尺寸為12.4μm的物體特征進(jìn)行成像，這一結(jié)論與分辨率方程所示的結(jié)論截然相反，因為從數(shù)學(xué)上講，物體在系統(tǒng)的能力范圍內(nèi)。這一矛盾突出表明，一階計算和近似不足以確定成像系統(tǒng)是否能夠達(dá)到特定的分辨率。此外，奈奎斯特頻率計算并不是為系統(tǒng)的分辨率能力奠定基礎(chǔ)的可靠指標(biāo)，只能用作系統(tǒng)將具有的限制的指南。8.8%的對比度太低而不能被認(rèn)為是準(zhǔn)確的，因為條件的微小波動很容易將對比度降低到無法分辨的水平。圖1B和1C顯示的圖像與MT9P031上的圖像類似，但使用的傳感器是索尼ICX655（3.45μm像素）和安森美半導(dǎo)體Kai-4021（7.4μm像素）。每個圖中的左側(cè)圖像顯示每個特征兩個像素，右側(cè)圖像顯示每個特征一個像素。這3個圖之間的主要區(qū)別在于，圖1B和1C的所有圖像對比度都在20%以上，這意味著（乍一看）它們在分辨該尺寸的特征時是可靠的。當(dāng)然，與圖1A中的2.2μm像素相比，它們可以分辨的最小尺寸對象更大。然而，在奈奎斯特頻率下成像仍然是不明智的，因為物體的輕微移動可能會使兩個像素之間的所需特征發(fā)生偏移，從而使物體無法分辨。請注意，當(dāng)像素尺寸從2.2μm增加到3.45μm，再增加到7.4μm時，對比度從每個特征一個像素增加到每個特征兩個像素的影響較小。在ICX655（3.45μm像素）上，對比度變化略低于2倍；Kai-4021（7.4μm像素）進(jìn)一步減弱了這種影響。圖2：在三種不同像素大小的相機傳感器上，使用相同的鏡頭和光照條件拍攝的圖像。頂部圖像以每個特征四個像素拍攝，底部圖像以每個特征兩個像素拍攝。圖1中的一個重要差異是標(biāo)稱鏡頭MTF與實際圖像中的真實對比度之間的差異。圖1A頂部的鏡頭的MTF曲線顯示，當(dāng)產(chǎn)生的對比度值為8.8%時，鏡頭在頻率227處應(yīng)達(dá)到約24%的對比度。造成這種差異的主要因素有兩個：傳感器MTF和鏡頭公差。大多數(shù)傳感器公司不公布其傳感器的MTF曲線，但它們具有與鏡頭相同的一般形狀。由于系統(tǒng)級MTF是系統(tǒng)的所有部件的MTF的乘積，因此鏡頭和傳感器的MTF必須相乘在一起，以提供系統(tǒng)的整體分辨率能力的更精確的結(jié)論。如上所述，鏡頭的公差MTF也是偏離標(biāo)稱值。所有這些因素共同改變了系統(tǒng)的預(yù)期分辨率，就其本身而言，鏡頭MTF曲線并不是系統(tǒng)級分辨率的準(zhǔn)確表示。如圖2中的圖像所示，最佳系統(tǒng)級對比度出現(xiàn)在使用較大像素拍攝的圖像中。當(dāng)像素尺寸減小時，對比度顯著下降。一個好的最佳實踐是使用20%作為機器視覺系統(tǒng)中的最小對比度，因為低于該對比度的任何對比度值都太容易受到來自溫度變化或照明串?dāng)_的噪聲波動的影響。使用50mm鏡頭和圖1A中的2.2μm像素拍攝的圖像的對比度為8.8%，由于鏡頭即將成為系統(tǒng)中的限制因素，因此對于與2.2μm像素尺寸相對應(yīng)的物體特征尺寸，圖像數(shù)據(jù)太低，無法依賴圖像數(shù)據(jù)。像素遠(yuǎn)小于2.2μm的傳感器當(dāng)然存在，并且非常受歡迎，但遠(yuǎn)小于該尺寸的傳感器幾乎不可能讓光學(xué)器件分辨到單個像素級別。這意味著在分辨率中描述的方程對于幫助確定系統(tǒng)級分辨率在功能上變得毫無意義，并且類似于在上述圖中拍攝的圖像將不可能被捕獲。然而，這些微小的像素仍然有用處——僅僅因為光學(xué)不能分辨整個像素并不會使它們變得無用。對于某些算法，如斑點分析或光學(xué)字符識別（OCR），它不是關(guān)于鏡頭是否可以實際分辨到單個像素級別，而是關(guān)于可以在特定特征上放置多少像素。對于較小的像素，可以避免子像素插值，這將增加用它進(jìn)行的任何測量的精度。此外，當(dāng)切換到具有拜耳模式濾波器的彩色相機時，在分辨率損失方面的損失較小。要記住的另一個要點是，從每個特征一個像素跳到每個特征兩個像素會產(chǎn)生大量的對比度，特別是在較小的像素上。盡管通過將頻率減半，最小可分辨物體的大小實際上增加了一倍。如果絕對有必要觀察到單像素水平，通常最好將光學(xué)放大倍數(shù)加倍，并將視場（FOV）減半。這將導(dǎo)致特征尺寸覆蓋兩倍的像素，并且對比度將高得多。這種解決方案的缺點是整個場的可見度較低。從圖像傳感器的角度來看，最好的做法是保持像素大小，并將圖像傳感器的格式大小加倍。例如，使用具有2.2μm像素的?“傳感器的1倍放大成像系統(tǒng)將具有與使用具有2.2μm像素的1”傳感器的2倍放大系統(tǒng)