速度更快，性能更好的機器視覺是邁向下一世代工業(yè)自動化，無人駕駛汽車和智慧城市管理之主要手段。更好的影像品質，更快的影像捕獲，以及更低設備成本和復雜性是自動化設備、檢查系統(tǒng)和機器人技術設計人員的關鍵目標，目的是加強品質保證，并提高生產率。

同樣的，進階機器視覺對自駕車也至關重要，由此可識別前方標牌、道路標志和潛在危險。在汽車應用中，重點是將縮短系統(tǒng)回應時間和提高影像識別精度。就智慧城市應用而言，城市中心CCTV系統(tǒng)更高的影像清晰度，可以?明執(zhí)法機構透過預測即將的干擾和提高識別能力來保護公民。

此外，針對高性能機器視覺的一些新應用機會也開始出現(xiàn)，其中包括車載無人機，用以協(xié)助車輛導航和資料收集用途（例如檢查農業(yè)用地或建筑工地等）。

為了在較短時間內從捕獲的影像中提取更多的訊息，需要更高的品質影像和增強訊號處理性能。為此，正在出現(xiàn)一些適用于相機和影像感測器的重要創(chuàng)新，由于機器學習技術的商業(yè)化，因此被應用于影像處理技術。

下一世代鏡頭增強聚焦和視野

攝影鏡頭在整個系統(tǒng)前端，是一些強有力新技術進步之主題，這些包括透過使用單個攝影機或單個鏡頭執(zhí)行多項任務的高靈活性，減少完成任務的周期時間，并簡化設備設計。

在這些新技術中，液體鏡頭（如圖1所示）是一類新興光學元件，可擴展傳統(tǒng)鏡頭景深，而避免了傳統(tǒng)電動聚焦系統(tǒng)高成本和復雜性。電動聚焦也相對的較慢，因此液體鏡頭避免這種情況出現(xiàn)，將有助于縮短應用中的周期時間，例如在工業(yè)檢查中需要涉及距離不同的物體。

圖1 : 使用液體鏡頭，僅需改變幾微米的形狀即可調整焦點。

透過在系統(tǒng)中引入液體鏡頭，標準光學系統(tǒng)就可以在幾ms內調整對于飛行物體的聚焦：從無限遠到小于100mm，具體取決于間距。液體鏡頭包含密封在柔性膜內部的光學液體，透過移動膜片或調節(jié)光學液體的體積，將鏡頭半徑僅改變幾μm即可達到與使用常規(guī)電動聚焦系統(tǒng)使鏡頭變動幾cm的效果。除了更快的聚焦和更簡單的構造（具有更少的運動元件，因此有更少的操作失敗機會）外，液體鏡頭系統(tǒng)還受益于更小慣性和更低功耗。

一個可選方案是，360度影像擷取使機器視覺系統(tǒng)能夠采用固定位置的單個攝影機來捕獲特定物體更多訊息，這樣可以降低多個攝影機檢查系統(tǒng)以及相關影像處理和儲存子系統(tǒng)成本和復雜性，但也可能導致系統(tǒng)性能受到限制。否則，在諸如食品包裝檢查或航空量測等應用中，可能需要一種機構來重新安置或旋轉攝影鏡頭以及需要檢查的物體，這同樣也增大了系統(tǒng)的整體費用和復雜性。

對于需要進行各個方向物體檢查之系統(tǒng)（例如包裝廠中黏貼到瓶子上的標簽），可以使用位于物體自身正上方的超中心（hyper-centric）或近中心（peri-centric）鏡頭來實現(xiàn)360度視覺功能。超中心鏡頭能夠捕獲光線，就好似它們是從位于鏡頭前面一定距離某個點發(fā)出的一樣。該匯聚點和鏡頭的周邊確定了視錐（viewing cone）。

將物體放置在此視錐內，直接位于朝下鏡頭下方，可以使來自物體頂面和垂直側面的光線同時進入鏡頭。將光聚焦在感測器上可以在單幀中捕獲整個影像。利用該原理，相機可以捕獲孔內或腔內的360度視圖，但無需插入光學探頭。透過單幀捕獲物體多個影像的其他技術是將超中心鏡頭與一組鏡面陣列整合，從而能夠有效地同時看到物體每一面。

感測器：物理原理與制造

提高CMOS影像感測器的解析度是捕獲更精細影像之關鍵，然而由于降低了訊雜比（SNR），僅減小畫素尺寸可能導致較差的影像品質。要獲得更高的解析度，就需要技術上的改進，以便在不影響感測器性能前提下減小畫素尺寸。

這些可透過許多層面實現(xiàn)，例如優(yōu)化畫素間距和感光面積與總面積之比（也稱為畫素填充因數(shù)）。在畫素實體層面的更多根本性變化可以改善諸如增益、效率和動態(tài)范圍之類參數(shù)。感測器制造商還改進了從畫素讀取資料的技術，從而實現(xiàn)更高SNR、畫面播放速率和線性度等增強的特性。

在過去十年之間，驅動感測器性能改進的最重要技術之一是使用背照式（BSI）感測器，它們透過上表面和下表面吸收光線，推動了畫素小型化，而不會降低關鍵性能參數(shù)（如阱容量、量子效率、暗電流等）。這種技術的后續(xù)進展是對感測器和影像處理晶片的三維（3D）堆疊，能夠實現(xiàn)更小外形尺寸。

隨后，包括氧化矽和金屬焊盤的3D混合堆疊消除了矽通孔（TSV），從而更有利于兩個晶片之間實現(xiàn)有效直接連接。最近，又開發(fā)出順序整合，可以制造單片影像感測器，其中每個影像感測器都整合有光電晶體陣列、3D可堆疊畫素讀出邏輯和記憶體等，并透過整合式高密度I/O連接。

全域快門增強動態(tài)影像

在高速工業(yè)自動化以及汽車和無人機等應用中，需要捕獲快速運動物體的清晰影像。這對于傳統(tǒng)滾動式（rolling-shutter）影像感測器性能構成巨大挑戰(zhàn)，主要原因是傳統(tǒng)滾動式影像感測器一次將從感測器畫素讀取僅僅一列資料發(fā)送到幀緩沖器。如果物體正在運動，則從讀取一列影像到讀取下一行之間的時間位置變化可能會導致失真，出現(xiàn)影像模糊或彎曲等問題。

當拍攝快速運動物體或將相機安裝在運動車輛上時，全域快門（Global shuttering）可提高影像清晰度。這項技術首先在高階靜態(tài)相機中使用，現(xiàn)在已經(jīng)應用到工業(yè)和汽車視覺系統(tǒng)以提供更高性能。在全域快門中，將所有畫素電荷值同時儲存到一個小的畫素內記憶體中，然后像以前一樣逐行依次讀取到架構緩沖區(qū)。這樣可以得到清晰影像，但沒有滾動式快門的失真。

畫素內記憶體會占用一定的空間，從而顯著地減少用于光子吸收的畫素面積。為了創(chuàng)建具備更高SNR和動態(tài)范圍的全域快門影像感測器，同時不增加畫素尺寸，以便補償畫素內記憶體占用空間，目前已經(jīng)克服了一些技術挑戰(zhàn)。這種影像感測器的一個例證是1Mpixel、1/4英寸格式的ON Semiconductor ARO144。

圖2 : ON Semiconductor的ARO144影像感測器。

全域快門畫素具有高量子效率，可確保快速充電，同時又對與影像無關的充電（如由電子擴散引起的串擾）不敏感。另外，光學遮罩非?？拷袦y器，可以在畫素表面排除雜散光影響。

影像處理中的AI

在訊號處理管道中，位于攝影鏡頭光學元件和感測器后面的是機器學習（利用深度神經(jīng)網(wǎng)路）之商業(yè)化應用，這種技術使構建影像和隨后從中提取資訊方式發(fā)生了革命。這里有一個例證，從中可以看到采用AI使低光照性能得到顯著改善，從而可以在近暗（near-dark）條件下拍攝高品質影像。

在低光照條件下捕獲的原始資料對于傳統(tǒng)訊號處理管道是很大挑戰(zhàn)。以電子方式提高感測器感光度（ISO值）會在影像上增添明顯的雜訊，從而導致影像品質變差，對影像進行降雜處理效果也很有限。其他改進影像品質的技術包括延長曝光時間，而這些在工業(yè)應用或車載攝影鏡頭中通常不切實際。

最近，一種巧妙技術得以開發(fā)，該技術利用機器學習來極為減小基于原始弱光資料構建影像的可檢測雜訊。使用包含原始短曝光時間、低光照影像和相應長曝光時間參考影像的資料數(shù)列可以訓練深度神經(jīng)網(wǎng)路。在對網(wǎng)路進行充分培訓后，即可以透過直接處理原始短時間曝光資料來創(chuàng)建高品質影像。這項技術已在市場中的頂級智慧手機中得到應用，可以提供更美觀的圖片。它還可適用于工業(yè)和安全應用，例如可應用于生產線檢查或監(jiān)控系統(tǒng)，能夠捕獲更好的影像。

結論

在當下的現(xiàn)代影像處理系統(tǒng)中，有大量技術改進正在發(fā)生，從系統(tǒng)前端相機鏡頭到其后方影像感測和影像處理元件。預計這些因素將共同推動潛在應用的進一步擴展，并提高系統(tǒng)性能基準。

(本文作者Mark Patrick任職于貿澤電子)