該攝像頭被用于首款采用單鏡頭、寬視場(chǎng)（也有譯為“廣視域”，wide field of view）的光場(chǎng)攝像機中，可產(chǎn)生信息豐富的影像及視頻幀，進(jìn)而使機器人能更好地執行全球導航并了解物距（object distance）及表面紋理（surface texture）等特定環(huán)境信息。據研究人員預計，未來(lái)該項技術(shù)將被應用于自動(dòng)駕駛車(chē)輛中并強化其性能。此外，該項技術(shù)還將被用于虛擬現實(shí)（VR）技術(shù)。研究人員在今年7月舉辦的2017計算機視覺(jué)與模式識別會(huì )議（CVPR 2017）上展示了該項新技術(shù)。

 

　　據斯坦福大學(xué)電氣工程學(xué)教授Gordon Wetzstein透露：“對計算機視覺(jué)應用的拓展而言，光場(chǎng)捕獲及處理能力發(fā)揮著(zhù)重要的作用，可提供豐富的紋理、深度信息（depth information），簡(jiǎn)化任務(wù)的復雜程度。盡管光場(chǎng)攝像頭已實(shí)現商業(yè)化應用，但當前的設備尚無(wú)法提供寬視場(chǎng)影像，這是由于其在一定程度上受限于魚(yú)眼透鏡（fisheye lenses），從根本上講，后者的入瞳直徑（entrance pupil diameter）受限，進(jìn)而嚴重制約了深度靈敏度（depth sensitivity）。”

 

　　他還表示：“在這項研究中，我們談到了一款全新緊湊型光學(xué)設計，將單中心透鏡與多個(gè)采用了微透鏡陣列的傳感器相連接，將光場(chǎng)攝像頭的視場(chǎng)捕獲能力提升到空前水平。得益于優(yōu)異的光場(chǎng)表現能力，研究團隊提出了一套全新的方法，高效地實(shí)現了球面透鏡（spherical lens）與平面傳感器（planar sensors）的連接，取代了價(jià)格高昂、體積龐大的纖維束（fiber bundles）。”

 

　　該團隊制作了一部單傳感器光場(chǎng)攝像機樣機，旋轉與固定式主透鏡相對的傳感器，進(jìn)而模擬寬視場(chǎng)的多傳感器情境。最終，該團隊還談到了一套處理工具鏈（processing toolchain），其中包括：一款實(shí)用的球面光場(chǎng)參數設定。此外，該團隊還論證了關(guān)于室內及室外全景（indoor and outdoor panoramas with）的深度估算（depth estimation）及捕獲后重新聚焦（post-capture refocus），其4D影像的像素值為15 × 15 × 1600 × 200（72 MPix），視場(chǎng)為138°。

 

 

　　Gordon Wetzstein教授與加州大學(xué)圣地亞哥分校的電氣工程學(xué)教授Joseph Ford開(kāi)展合作，共同推動(dòng)該研究項目。加州大學(xué)圣地亞哥分校的研究人員設計了一款球面鏡，可為該攝像頭提供極寬的視場(chǎng)，其視場(chǎng)涵蓋了攝像頭周邊近三分之一的區域。

 

　　Ford教授所帶領(lǐng)的團隊早前參與了美國國防部高級研究計劃局（DARPA）的“SCENICC”計劃并研發(fā)了一款球面鏡，旨在打造一款緊湊型視頻攝像頭，該產(chǎn)品可捕獲360度高清全景影像，各視頻幀數可達1.25億像素量（125 megapixels）。在該項目中，光導纖維束（fiber optic bundles）所用視頻攝像頭將球面影像與傳統的平面影像焦點(diǎn)平面（flat focal planes）相結合，進(jìn)而提升其畫(huà)面性能，但其成本較高。
 

　　Dansereau教授

 

　　新款攝像頭采用了一種球面透鏡，可借助小晶體及數字信號處理來(lái)消除纖維束。Ford教授實(shí)驗室的光學(xué)設計與系統集成硬件技術(shù)與Wetzstein實(shí)驗室的信號處理及算法技術(shù)的結合產(chǎn)生了一套數字化方案，在產(chǎn)生極寬的影像的同時(shí)提升其圖片分辨率。

 

　　該款攝像頭還依賴(lài)于斯坦福大學(xué)研發(fā)的光場(chǎng)攝影（light field photography）技術(shù)，可提供4D影像。該款攝像頭可捕獲射向透鏡的雙軸線(xiàn)方向的光線(xiàn)，并將該光照信息與2D影像相結合。光場(chǎng)攝影的另一項特點(diǎn)是在捕獲影像后可對影像重新聚焦，因為該影像包括光源位置及光源方向（light position and direction）。

 

　　機器人或將采用該項技術(shù)，使其視野不受雨水及其他遮擋物的影響。

 

　　該款攝像頭像常規攝像頭一樣，能夠遠距離運行，其設計旨在提升特寫(xiě)影像（close-up images）的品質(zhì)。作為虛擬現實(shí)系統的一部分，其深度信息或將生成更多的現實(shí)場(chǎng)景的無(wú)縫效果圖，以便更好地為實(shí)現這類(lèi)場(chǎng)景與虛擬部件的一體化提供支持。

 

　　目前，該款攝像頭處于概念驗證階段，該團隊計劃了制作一款緊湊型樣機，用于在機器人上進(jìn)行測試。該研究由美國國家科學(xué)基金會(huì )（NSF）/英特爾視覺(jué)及體驗運算伙伴項目（Intel Partnership on Visual and Experiential Computing）提供資金。