速度更快，性能更好的機(jī)器視覺是邁向下一世代工業(yè)自動(dòng)化，無人駕駛汽車和智慧城市管理之主要手段。更好的影像品質(zhì)，更快的影像捕獲，以及更低設(shè)備成本和複雜性是自動(dòng)化設(shè)備、檢查系統(tǒng)和機(jī)器人技術(shù)設(shè)計(jì)人員的關(guān)鍵目標(biāo)，目的是加強(qiáng)品質(zhì)保證，並提高生產(chǎn)率。

同樣的，進(jìn)階機(jī)器視覺對自駕車也至關(guān)重要，由此可識(shí)別前方標(biāo)牌、道路標(biāo)誌和潛在危險(xiǎn)。在汽車應(yīng)用中，重點(diǎn)是將縮短系統(tǒng)回應(yīng)時(shí)間和提高影像識(shí)別精度。就智慧城市應(yīng)用而言，城市中心CCTV系統(tǒng)更高的影像清晰度，可以?明執(zhí)法機(jī)構(gòu)透過預(yù)測即將的干擾和提高識(shí)別能力來保護(hù)公民。

此外，針對高性能機(jī)器視覺的一些新應(yīng)用機(jī)會(huì)也開始出現(xiàn)，其中包括車載無人機(jī)，用以協(xié)助車輛導(dǎo)航和資料收集用途（例如檢查農(nóng)業(yè)用地或建築工地等）。

為了在較短時(shí)間內(nèi)從捕獲的影像中提取更多的訊息，需要更高的品質(zhì)影像和增強(qiáng)訊號(hào)處理性能。為此，正在出現(xiàn)一些適用於相機(jī)和影像感測器的重要?jiǎng)?chuàng)新，由於機(jī)器學(xué)習(xí)技術(shù)的商業(yè)化，因此被應(yīng)用於影像處理技術(shù)。

下一世代鏡頭增強(qiáng)聚焦和視野

攝影鏡頭在整個(gè)系統(tǒng)前端，是一些強(qiáng)有力新技術(shù)進(jìn)步之主題，這些包括透過使用單個(gè)攝影機(jī)或單個(gè)鏡頭執(zhí)行多項(xiàng)任務(wù)的高靈活性，減少完成任務(wù)的週期時(shí)間，並簡化設(shè)備設(shè)計(jì)。

在這些新技術(shù)中，液體鏡頭（如圖1所示）是一類新興光學(xué)元件，可擴(kuò)展傳統(tǒng)鏡頭景深，而避免了傳統(tǒng)電動(dòng)聚焦系統(tǒng)高成本和複雜性。電動(dòng)聚焦也相對的較慢，因此液體鏡頭避免這種情況出現(xiàn)，將有助於縮短應(yīng)用中的週期時(shí)間，例如在工業(yè)檢查中需要涉及距離不同的物體。

圖1 : 使用液體鏡頭，僅需改變幾微米的形狀即可調(diào)整焦點(diǎn)。

透過在系統(tǒng)中引入液體鏡頭，標(biāo)準(zhǔn)光學(xué)系統(tǒng)就可以在幾ms內(nèi)調(diào)整對於飛行物體的聚焦：從無限遠(yuǎn)到小於100mm，具體取決於間距。液體鏡頭包含密封在柔性膜內(nèi)部的光學(xué)液體，透過移動(dòng)膜片或調(diào)節(jié)光學(xué)液體的體積，將鏡頭半徑僅改變幾μm即可達(dá)到與使用常規(guī)電動(dòng)聚焦系統(tǒng)使鏡頭變動(dòng)幾cm的效果。除了更快的聚焦和更簡單的構(gòu)造（具有更少的運(yùn)動(dòng)元件，因此有更少的操作失敗機(jī)會(huì)）外，液體鏡頭系統(tǒng)還受益於更小慣性和更低功耗。

一個(gè)可選方案是，360度影像擷取使機(jī)器視覺系統(tǒng)能夠採用固定位置的單個(gè)攝影機(jī)來捕獲特定物體更多訊息，這樣可以降低多個(gè)攝影機(jī)檢查系統(tǒng)以及相關(guān)影像處理和儲(chǔ)存子系統(tǒng)成本和複雜性，但也可能導(dǎo)致系統(tǒng)性能受到限制。否則，在諸如食品包裝檢查或航空量測等應(yīng)用中，可能需要一種機(jī)構(gòu)來重新安置或旋轉(zhuǎn)攝影鏡頭以及需要檢查的物體，這同樣也增大了系統(tǒng)的整體費(fèi)用和複雜性。

對於需要進(jìn)行各個(gè)方向物體檢查之系統(tǒng)（例如包裝廠中黏貼到瓶子上的標(biāo)籤），可以使用位於物體自身正上方的超中心（hyper-centric）或近中心（peri-centric）鏡頭來實(shí)現(xiàn)360度視覺功能。超中心鏡頭能夠捕獲光線，就好似它們是從位於鏡頭前面一定距離某個(gè)點(diǎn)發(fā)出的一樣。該彙聚點(diǎn)和鏡頭的周邊確定了視錐（viewing cone）。

將物體放置在此視錐內(nèi)，直接位於朝下鏡頭下方，可以使來自物體頂面和垂直側(cè)面的光線同時(shí)進(jìn)入鏡頭。將光聚焦在感測器上可以在單幀中捕獲整個(gè)影像。利用該原理，相機(jī)可以捕獲孔內(nèi)或腔內(nèi)的360度視圖，但無需插入光學(xué)探頭。透過單幀捕獲物體多個(gè)影像的其他技術(shù)是將超中心鏡頭與一組鏡面陣列整合，從而能夠有效地同時(shí)看到物體每一面。

感測器：物理原理與製造

提高CMOS影像感測器的解析度是捕獲更精細(xì)影像之關(guān)鍵，然而由於降低了訊雜比（SNR），僅減小畫素尺寸可能導(dǎo)致較差的影像品質(zhì)。要獲得更高的解析度，就需要技術(shù)上的改進(jìn)，以便在不影響感測器性能前提下減小畫素尺寸。

這些可透過許多層面實(shí)現(xiàn)，例如優(yōu)化畫素間距和感光面積與總面積之比（也稱為畫素填充因數(shù)）。在畫素實(shí)體層面的更多根本性變化可以改善諸如增益、效率和動(dòng)態(tài)範(fàn)圍之類參數(shù)。感測器製造商還改進(jìn)了從畫素讀取資料的技術(shù)，從而實(shí)現(xiàn)更高SNR、畫面播放速率和線性度等增強(qiáng)的特性。

在過去十年之間，驅(qū)動(dòng)感測器性能改進(jìn)的最重要技術(shù)之一是使用背照式（BSI）感測器，它們透過上表面和下表面吸收光線，推動(dòng)了畫素小型化，而不會(huì)降低關(guān)鍵性能參數(shù)（如阱容量、量子效率、暗電流等）。這種技術(shù)的後續(xù)進(jìn)展是對感測器和影像處理晶片的三維（3D）堆疊，能夠?qū)崿F(xiàn)更小外形尺寸。

隨後，包括氧化矽和金屬焊盤的3D混合堆疊消除了矽通孔（TSV），從而更有利於兩個(gè)晶片之間實(shí)現(xiàn)有效直接連接。最近，又開發(fā)出順序整合，可以製造單片影像感測器，其中每個(gè)影像感測器都整合有光電晶體陣列、3D可堆疊畫素讀出邏輯和記憶體等，並透過整合式高密度I/O連接。

全域快門增強(qiáng)動(dòng)態(tài)影像

在高速工業(yè)自動(dòng)化以及汽車和無人機(jī)等應(yīng)用中，需要捕獲快速運(yùn)動(dòng)物體的清晰影像。這對於傳統(tǒng)滾動(dòng)式（rolling-shutter）影像感測器性能構(gòu)成巨大挑戰(zhàn)，主要原因是傳統(tǒng)滾動(dòng)式影像感測器一次將從感測器畫素讀取僅僅一列資料發(fā)送到幀緩衝器。如果物體正在運(yùn)動(dòng)，則從讀取一列影像到讀取下一行之間的時(shí)間位置變化可能會(huì)導(dǎo)致失真，出現(xiàn)影像模糊或彎曲等問題。

當(dāng)拍攝快速運(yùn)動(dòng)物體或?qū)⑾鄼C(jī)安裝在運(yùn)動(dòng)車輛上時(shí)，全域快門（Global shuttering）可提高影像清晰度。這項(xiàng)技術(shù)首先在高階靜態(tài)相機(jī)中使用，現(xiàn)在已經(jīng)應(yīng)用到工業(yè)和汽車視覺系統(tǒng)以提供更高性能。在全域快門中，將所有畫素電荷值同時(shí)儲(chǔ)存到一個(gè)小的畫素內(nèi)記憶體中，然後像以前一樣逐行依次讀取到架構(gòu)緩衝區(qū)。這樣可以得到清晰影像，但沒有滾動(dòng)式快門的失真。

畫素內(nèi)記憶體會(huì)佔(zhàn)用一定的空間，從而顯著地減少用於光子吸收的畫素面積。為了創(chuàng)建具備更高SNR和動(dòng)態(tài)範(fàn)圍的全域快門影像感測器，同時(shí)不增加畫素尺寸，以便補(bǔ)償畫素內(nèi)記憶體佔(zhàn)用空間，目前已經(jīng)克服了一些技術(shù)挑戰(zhàn)。這種影像感測器的一個(gè)例證是1Mpixel、1/4英寸格式的ON Semiconductor ARO144。

圖2 : ON Semiconductor的ARO144影像感測器。

全域快門畫素具有高量子效率，可確保快速充電，同時(shí)又對與影像無關(guān)的充電（如由電子擴(kuò)散引起的串?dāng)_）不敏感。另外，光學(xué)遮罩非常靠近感測器，可以在畫素表面排除雜散光影響。

影像處理中的AI

在訊號(hào)處理管道中，位於攝影鏡頭光學(xué)元件和感測器後面的是機(jī)器學(xué)習(xí)（利用深度神經(jīng)網(wǎng)路）之商業(yè)化應(yīng)用，這種技術(shù)使構(gòu)建影像和隨後從中提取資訊方式發(fā)生了革命。這裡有一個(gè)例證，從中可以看到採用AI使低光照性能得到顯著改善，從而可以在近暗（near-dark）條件下拍攝高品質(zhì)影像。

在低光照條件下捕獲的原始資料對於傳統(tǒng)訊號(hào)處理管道是很大挑戰(zhàn)。以電子方式提高感測器感光度（ISO值）會(huì)在影像上增添明顯的雜訊，從而導(dǎo)致影像品質(zhì)變差，對影像進(jìn)行降雜處理效果也很有限。其他改進(jìn)影像品質(zhì)的技術(shù)包括延長曝光時(shí)間，而這些在工業(yè)應(yīng)用或車載攝影鏡頭中通常不切實(shí)際。

最近，一種巧妙技術(shù)得以開發(fā)，該技術(shù)利用機(jī)器學(xué)習(xí)來極為減小基於原始弱光資料構(gòu)建影像的可檢測雜訊。使用包含原始短曝光時(shí)間、低光照影像和相應(yīng)長曝光時(shí)間參考影像的資料數(shù)列可以訓(xùn)練深度神經(jīng)網(wǎng)路。在對網(wǎng)路進(jìn)行充分培訓(xùn)後，即可以透過直接處理原始短時(shí)間曝光資料來創(chuàng)建高品質(zhì)影像。這項(xiàng)技術(shù)已在市場中的頂級(jí)智慧手機(jī)中得到應(yīng)用，可以提供更美觀的圖片。它還可適用於工業(yè)和安全應(yīng)用，例如可應(yīng)用於生產(chǎn)線檢查或監(jiān)控系統(tǒng)，能夠捕獲更好的影像。

結(jié)論

在當(dāng)下的現(xiàn)代影像處理系統(tǒng)中，有大量技術(shù)改進(jìn)正在發(fā)生，從系統(tǒng)前端相機(jī)鏡頭到其後方影像感測和影像處理元件。預(yù)計(jì)這些因素將共同推動(dòng)潛在應(yīng)用的進(jìn)一步擴(kuò)展，並提高系統(tǒng)性能基準(zhǔn)。

(本文作者M(jìn)ark Patrick任職於貿(mào)澤電子)