光場相機原理

1、光場相機Lytro的運作原理和運算方法概略Lytro以在照片拍攝后，照片的對焦點可以自由變換的相機而被知曉.Lytro稱其為光場相機.成像部分是由圖像感應器和微型鏡頭所構成，并得到入射光束集中的光場.然后從光場再處理成最終的畫面，光線集中相當于計算鏡頭的運作.本文就Lytro的動作原理和畫面生成的運算方法進行解釋.1 .前言數(shù)碼相機是在攝像像素點上形成鮮亮的光像，并把此光像忠實的反應成數(shù)碼影像的裝置。但是光場相機則是采用與數(shù)碼相機完全不同的原理所被認知。此相機是采用光場（光線空間）得到多條光線，再將光線集合并經(jīng)過一種圖像處理得到最終成像的相機。其代表機能為利用攝影后的后處理，變更相機焦點距離的

2、再對焦機能。初期的光場相機是用多臺相機縱橫排列成的相機矩陣的實配.相機矩陣對機能有驗證作用，但是沒有實用性.另一方面，Ng試做了在成像像素的前面配置微鏡頭，通過致密的框體集中光線的光場相機.之后，Ng為了將此技術商品化而成立了公司，在2012年開發(fā)了Lytro.本文是根據(jù)Ng的論文及實際的分析解析為基礎解釋Lytro的運作原理，機能，運算方法等.2 .Lytro的影像感應器圖1為Lytro的影像感應器的擴大照片影像感應器是數(shù)碼相機用的CMOS感應器，內(nèi)間距為1.4pm,影像感應器上覆蓋蜂巢結構的微鏡頭，微鏡頭的內(nèi)間距為14m。影像感應器3280*3280像素的面積上覆蓋330*380個微鏡頭，

3、一個微鏡頭的直Ml畫博trA廿一跳扒大軍犬（寫一:日寫B(tài)Plt,徑大約是10個像素點的長度。微鏡頭和保護用玻璃一體成型，CMOS感應器上面有少量空間，保護玻璃上面平坦，底面排列微鏡頭。保護玻璃和微鏡頭的厚度約為430dm,另外CMOS表面設置了拜爾型彩色濾膜。nu>XTu/和眥因3生晌像八一甬此七刃部分就大每個相機的框體的傾斜和偏圖2顯示影響感應器和微鏡頭的位置關系。其并沒有完全對齊,移都不一樣。推測其為裝配微鏡頭時的機械原因的誤差。圖3顯示Lytro獲得的原生像素的部分擴大原生像素明顯的反映出了微鏡頭的構造，擴大圖片顯示了圓形構造內(nèi)的像素結構直徑約為10個像素，一個圓形構造內(nèi)對應一束光

4、線，圓形周圍的像素較暗，此區(qū)域的光線獲得較為困難。3 .光場的獲得影像感應器和主鏡頭來獲得光場的示意見圖4。在A位置的被攝物由主鏡頭獲取光線，其焦點位置落在微鏡頭矩陣上，此時，由被攝物發(fā)出并到達微鏡頭的光線，利用在其下方定位的像素記錄方向和亮度，一個微鏡頭所對應的全部像素平均化，生成A位置合焦后的粗略的口片像素。圖4B位置上的灰色點，注意其位置通過的光線為3條，利用不同的微鏡頭，使光線記錄到的像素點上。將這些像素值平均化后，能夠生成B焦點上的合焦照片像素。B位置合焦后，A像就會變模糊，利用光場來計算這一現(xiàn)象。萬d卜丁4一小卜-刃取得圖4上微鏡頭覆蓋的三部分像素，最下方位置的像素追溯到主鏡頭，到

5、達部分開口1所述范圍.然后這些像素所生成的圖像，是通過部分開口1的光線所成的像.同樣微鏡頭覆蓋的像素，最上方位置所生成的圖像，是通過部分開口2的光線所成的像.如此，微鏡頭覆蓋N個像素時，就可以對微鏡頭所對應的相同位置上的像素進行排列形成N個小圖像，由N個部分開口分割主鏡頭得到N個立體圖像群.4 .光場的映射從Lytro獲取的原始圖像的光場到生成最終照片圖像的程序叫做光場映射.在此解釋一下兩種映射方法.第一種方法，對應映射焦點距離，N個立體圖像適度平行移動后，并將其平均化的方法.稱其為移動加算法.第二種方法，將獲取的光像投射到適當焦點距離的設定圖像面上.稱其為光線束投影法.移動加算的映射說明.如

6、3章所述，Lytro可以將捕捉到的光場分解成多個立體的畫面群.圖5的左側部分說明其樣式.從全部的微鏡頭相同位置抽取像素后再配列。如此構成的小圖像群，是從主鏡頭不同的部分開口處觀察被攝物的圖像群悌工中.才利型肝、門侍解1-，小。刀""仃二匕9<%小心爐Hid所以，從開口位置到被攝物之間的距離有視差.將這些立體圖像群與假想的焦點距離重合，使其只平行移動適當?shù)牧?然后將移動后的圖像群加算平均化。移動量對應縱深，被攝物由于像的位置重合所以形成銳利的圖像，如果不是像就會模糊.另外，實際的相機在合焦前后，不僅是合焦位置有變化，像的大小也多少有變化.再次不考慮此效果.移動加算映射算

7、法，其單純的計算成本比較小.但是，由于最終圖像的像素數(shù)和微鏡頭的像素數(shù)相等，與一般的數(shù)碼相機攝影后的畫面尺寸相比較顯得非常小.另外，微鏡頭和原始圖像像素的位置關系由微鏡頭不同有微小的差異.所以，對于像素再配列來說，像素值需要一個補充差值.其結果就是會導致最終圖像的解像度有稍許劣化.移動加算映射算法，實裝是比較容易的，但是最終的解像度不好.為了得到更好的圖像所用的光線束投影法，以下進行說明.圖6上部所示，圖像感應器和微鏡頭陣列所獲取光線的樣子，進行詳細說明.3章所述，圖像感應器的各像素獲得一束光線進行了說明，但是要更正確的話，要獲得一定程度的光束寬度。光束投影映射如圖6下部所示，是一種將獲得的光

8、束投射到設定焦點距離的假想圖像上的方法.因6光黑束內(nèi)投第JZA5V，各像素所獲得的光束能夠按照以下方法計算.圖7是圖像感應器的放大圖.在此，圖像感應器面和微鏡頭陣列面的距離與微鏡頭的焦點距離f相等，像素為點.圖中其他尺寸記號的意思以下說明.a:微鏡頭的直徑。q:像素的位置。表示從覆蓋微鏡頭的光軸的距離，以符號表示。r:微鏡頭光軸和主鏡頭光軸的距離。：獲得的光線束和光軸所形成的的角度。此時，像素所獲得的光線束是平行光，對于光軸0=arctan(-q/f)以此相交.光線束的直徑a?cos0,位置為主鏡頭光軸到微鏡頭陣列面r的距離.像素所占面積和，圖像傳感器面和微鏡頭陣列面的距離，按照一般情況來考慮

9、和計算的話，比較復雜，但是按照相同的順序的計算是可行的。畫廿一面1X17閩素廣取得-卜馬將敘束圖8中是移動加算法和光線束投影所形成的映射圖像的比較.圖8(a)為樣品圖像整體.圖中的前方參照范圍是從Lytro開始30cm左右，后方參照范圍是2m左右的距離.(b)和(c)進行比較，光線束投影形成的映射圖像的解像度較高.另外，包括此實驗在內(nèi)，為了分析Lytro的輸出文件，用到了開源的lfptool5. Web圖像映射用Lytro攝影后，將主機與電腦連接，經(jīng)過數(shù)十秒的處理時間，形成2個文件.一個為圖3所示圖像感應器生成的原生圖像.另一個是由復數(shù)JPEG圖像和20X20像素的深度圖像打包到一起的文件.復

10、數(shù)的JPEG圖像分別是最靠前合焦的圖像，中間位置合焦圖像和最靠后合焦圖像等焦點位置不同的圖像。圖像的總張數(shù)是按照場景的縱深決定的，縱深大的圖像10張左右，縱深小的4張左右。這些焦點位置不同的圖片，在相機連接到電腦時借由軟件進行縱深調(diào)整形成光場映射。利用這些復數(shù)的JPEG圖像和縱深圖像來生成Web瀏覽器可查看的再聚焦圖片.Lytro將拍攝的圖像生成Web圖像的同時可以用鼠標點擊任意希望聚焦位置，進行重新聚焦.其反應時間非常短.另外如第4章所說明的映射方法，雖然不是特別復雜，但是也不能做到即時實施.鼠標所點擊位置的距離測量處理也很必要.為了讓Lytro能夠即時生成重聚焦圖像，要重新根據(jù)焦點不同的數(shù)

11、張JPEG圖像和1張縱深圖像進行計算.圖9,表示推測出的Web的重聚焦圖像的結構.用戶在圖像上點擊位置進行再聚焦，到指定被攝物之間的距離要從縱深圖像中讀取.將從此深度附近抓取兩張焦點接近的JPEG圖像.再聚焦圖像是把這些圖像的中間值圖像進行適當?shù)募又厝缓笃骄笊傻膱D像.2張JPEG圖像加重平均處理，中間圖像為根據(jù)其所模糊的圖像.為了改善中間圖像，要用到焦點位置分別不同的3張JPEG圖像，就可以強調(diào)中間圖像高頻范圍.2張的合成，3張的合成，此處說講的處理并不是非常高深的事情.在Web瀏覽器上實現(xiàn)即時處理是可行的.7十一力出甑像生成刃IX引6. Lytro的課題Lytro是劃時代的相機.但是還

12、停留在未來性的相機上，并沒有普及到一半消費者.在此說一下關于Lytro的幾點課題.最大的課題，最終圖像的像素或者說解像度太小.一個微鏡頭的直徑覆蓋10個像素，相比一般的相機尺寸要小10倍，橫豎像素數(shù)只有十分之一.而且Lytro對圖像感應器的像素白利用率也不好.Lytro的圖像感應器3280X3280像素，微鏡頭陣列是330X380,每個微鏡頭所分到的像素是85.8個像素.另外，從圖3來看，微鏡頭所用到的有效像素大約是50個像素.所以有40%左右的像素就用不到了.微鏡頭邊界上的像素無法使用，微鏡頭周邊的像素所記錄的光線的質(zhì)量較差.如圖10,表示了微鏡頭所對應的5處的像素所構成的小圖像.此原稿的畫質(zhì)很難詳細確認、1-3的圖像光鮮明亮，相比起來1-1的圖像整體偏紅，摩爾紋和噪點能看到.光量也較少.3-3的圖像整體偏藍，同1-1一樣畫質(zhì)不好，有摩爾紋和噪點.Lytro的在對焦功能能夠很好使用的話，就要習慣于Lytro.Lytro的主鏡頭直徑