電腦視覺(jué)是什麼？實(shí)際上大多數(shù)人每天都會(huì)用到這項(xiàng)科技，舉兩個(gè)例子：一個(gè)是智慧型手機(jī)上的臉部辨識(shí)。如果手機(jī)上有這一功能，平時(shí)也會(huì)用於解鎖螢?zāi)换蚴请娮又Ц叮屈N你就正在使用電腦視覺(jué)。另一個(gè)是當(dāng)平時(shí)去超市或者超商付款，收銀員會(huì)用掃描你所購(gòu)買(mǎi)的產(chǎn)品條碼，這類日常生活情境都會(huì)用到電腦視覺(jué)。本文專訪了意法半導(dǎo)體亞太區(qū)影像事業(yè)部技術(shù)行銷經(jīng)理林國(guó)志，與意法半導(dǎo)體亞太區(qū)影像事業(yè)部資深技術(shù)行銷經(jīng)理張程怡，為所有讀者分享意法半導(dǎo)體電腦視覺(jué)全域快門(mén)影像感測(cè)器產(chǎn)品與應(yīng)用趨勢(shì)。

圖二

我們可以看到電腦視覺(jué)的定義，電腦視覺(jué)是人工智慧的一個(gè)分支，能夠讓電腦和系統(tǒng)從數(shù)位影像、視訊和其它的視覺(jué)輸入資料中提取有意義的資訊，並根據(jù)這些資訊採(cǎi)取行動(dòng)或提出建議。

在臉部辨識(shí)中具有意義的資訊就是臉，系統(tǒng)會(huì)對(duì)臉進(jìn)行影像採(cǎi)集，然後進(jìn)行資訊處理，得出的結(jié)果就是驗(yàn)證使用者身份，接著解鎖手機(jī)。通常情況下電腦視覺(jué)都會(huì)產(chǎn)生資訊輸入和輸出，就拿條碼掃描機(jī)來(lái)說(shuō)，掃描條碼即是資訊輸入，鏡頭採(cǎi)集條碼的影像，系統(tǒng)讀取以辨識(shí)產(chǎn)品和價(jià)格。

接下來(lái)說(shuō)明電腦視覺(jué)的應(yīng)用範(fàn)例，這些應(yīng)用均使用到全域快門(mén)感測(cè)器的技術(shù)。實(shí)際上，電腦視覺(jué)的應(yīng)用情境無(wú)處不在，可以將其歸為四大類。

第一類叫做深度感測(cè)，這項(xiàng)應(yīng)用時(shí)間比較久。透過(guò)使用兩個(gè)全域快門(mén)感測(cè)器搭建一組立體視覺(jué)系統(tǒng)，或者是使用一個(gè)全域快門(mén)感測(cè)器搭建結(jié)構(gòu)光鏡頭系統(tǒng)。通常深度感測(cè)可以用於臉部辨識(shí)和3D掃描這類應(yīng)用情境。

圖三

第二類叫做生物辨識(shí)，這項(xiàng)應(yīng)用採(cǎi)集人體各個(gè)部位的資訊並將其用於身份辨識(shí)。人臉資訊可以用於臉部辨識(shí)或者2D智慧解鎖，體形資訊可以用於人存在偵測(cè)，除此之外還有手勢(shì)偵測(cè)、掌紋辨識(shí)、虹膜辨識(shí)等等。這些人體資訊都是獨(dú)一無(wú)二的，包括人臉、掌紋和虹膜，皆可用於身份辨識(shí)。還有駕駛與車艙監(jiān)視，採(cǎi)集司機(jī)與乘客的行為資訊，產(chǎn)生的結(jié)果就是系統(tǒng)發(fā)出的各類警示。

第三類就是擴(kuò)增實(shí)境（VR）、虛擬實(shí)境（AR）和混合現(xiàn)實(shí)（MR），最近這類話題很紅，因?yàn)槠渖婕霸钪娴母拍睢?/span>

當(dāng)戴上VR頭部顯示裝置之後我們看不見(jiàn)周圍環(huán)境，只能依靠光學(xué)感測(cè)器讓你知道環(huán)境的變化。通常VR頭戴式顯示裝置在內(nèi)部和外部分別有一個(gè)鏡頭，內(nèi)建鏡頭用於眼球追蹤，並透過(guò)兩個(gè)全域快門(mén)感測(cè)器進(jìn)行眼球觀測(cè)，因?yàn)樵趯?shí)際應(yīng)用情境中需要感知你的眼睛看哪個(gè)方向，透過(guò)眼球追蹤得到的資訊將提供不同的反饋。外置鏡頭用於外部世界追蹤，主要感知外部環(huán)境而非使用者眼球的變化。

這裡有兩類重要應(yīng)用情境：一類叫做6DoF，針對(duì)的是頭部行為。當(dāng)使用者戴上VR頭戴式顯示裝置後就會(huì)獲得6D感知能力。頭部可以做出左右、上下、前後六個(gè)角度的動(dòng)作，因此被稱為「6DoF」（六個(gè)自由度追蹤）。另一類稱為「SLAM」（同步定位與地圖構(gòu)建），例如使用者需要掌握所處房間的狀況，牆壁在哪裡、沙發(fā)在哪裡、自己所處哪個(gè)位置，戴上VR頭戴式顯示裝置走動(dòng)的時(shí)候如何避免撞牆。因此在使用AR／VR５裝置的過(guò)程中，手勢(shì)偵測(cè)、掌紋辨識(shí)、臉部與情緒追蹤等功能是非常重要的。

除此之外，使用VR／AR裝置還可以進(jìn)行生物辨識(shí)，例如手勢(shì)偵測(cè)或者手勢(shì)追蹤。通常在這種情境下，裝置可以透過(guò)使用者一個(gè)手勢(shì)辨識(shí)出這是哪種行為目的。例如使用者進(jìn)行一場(chǎng)演講，透過(guò)一個(gè)手勢(shì)就可以自動(dòng)翻到下一頁(yè)簡(jiǎn)報(bào)檔或者翻回到首頁(yè)，又或是透過(guò)手勢(shì)告知助理按一下或按兩下滑鼠。這些應(yīng)用都是透過(guò)手勢(shì)偵測(cè)實(shí)現(xiàn)，裝置無(wú)需揣測(cè)使用者想表達(dá)的資訊，只需追蹤手勢(shì)即可。

最後一類應(yīng)用是機(jī)器人與工業(yè)控制。例如無(wú)人機(jī)和掃地機(jī)器人在使用過(guò)程中需要避免相撞，所以要有物體偵測(cè)和情境分析能力，而這些都需要使用全域快門(mén)感測(cè)器。之前提到的條碼辨識(shí)也屬於工業(yè)控制中的電腦視覺(jué)應(yīng)用。

圖四

除了全域快門(mén)之外，還有捲簾快門(mén)，因?yàn)榭偣卜譃檫@兩種鏡頭。捲簾快門(mén)的設(shè)計(jì)目的是為了捕捉靜態(tài)影像和視訊拍攝，因此需要非常高的解析度和顏色處理能力。我們身邊大多數(shù)鏡頭都屬於捲簾快門(mén)，例如智慧型手機(jī)的主鏡頭、自拍鏡頭、建築中的監(jiān)控鏡頭，甚至數(shù)位相機(jī)都是採(cǎi)用捲簾快門(mén)技術(shù)。因?yàn)檫@些應(yīng)用情境都需要捕捉彩色影像，因此需要相當(dāng)高的解析度。

唯一的問(wèn)題在於，採(cǎi)用捲簾快門(mén)的電腦視覺(jué)技術(shù)都是逐行拍攝影像。照片採(cǎi)用捲簾快門(mén)逐行拍攝的話，整個(gè)影像只有一幀。如果拍攝物件是車輛這樣的快速移動(dòng)物體，影像可能會(huì)扭曲，無(wú)法顯示拍攝物件原本的樣子。如果影像扭曲就無(wú)法顯示物體的真實(shí)狀態(tài)，也就不能用於電腦視覺(jué)，無(wú)法判斷影像中的是不是另一輛車。

因此捲簾快門(mén)沒(méi)有被應(yīng)用於電腦視覺(jué)技術(shù)中。全域快門(mén)的原理完全不同，一次拍攝整幅影像，且拍攝時(shí)間非常短。只要拍攝物件不是快速移動(dòng)的物體，成像效果非常準(zhǔn)確，因此完全可以用於電腦視覺(jué)。

圖五

接著來(lái)了解意法半導(dǎo)體的影像感測(cè)器產(chǎn)品。ST在影像領(lǐng)域已有超過(guò)二十年的發(fā)展歷史。1999年收購(gòu)VISION，2002年開(kāi)始為智慧型手機(jī)產(chǎn)業(yè)供應(yīng)鏡頭模組，2012年將業(yè)務(wù)從手機(jī)通訊拓展至醫(yī)學(xué)、航空、個(gè)人電腦和其它領(lǐng)域，2014年又推出ST dToF直接感測(cè)器感測(cè)器，2018年推出ALS感測(cè)器，2020年推出最新的全域感測(cè)器。

圖六

ST影像感測(cè)器產(chǎn)品包括三大家族：一是飛行時(shí)間感測(cè)器，包括dToF直接感測(cè)器和iToF間接感測(cè)器。二是全域快門(mén)影像感測(cè)器，包括主動(dòng)立體視覺(jué)或結(jié)構(gòu)光鏡頭。三是環(huán)境光感測(cè)器，包括自動(dòng)調(diào)整平衡技術(shù)。

圖八

下面來(lái)看ST消費(fèi)和工業(yè)用全域快門(mén)影像感測(cè)器。目前ST共有兩類產(chǎn)品：一類是VD55G0， 40萬(wàn)像素。另一類是VD56G3， 150萬(wàn)像素。兩種產(chǎn)品採(cǎi)用的都是ST 3D技術(shù)，最初的設(shè)計(jì)包括兩層陣列，之後ST將其合二為一形成單一陣列。

這些產(chǎn)品擁有三大優(yōu)勢(shì)：首先ST的感測(cè)器940nm具有最高的量子效率，這會(huì)帶來(lái)極高的NIR敏感度。電腦視覺(jué)主要採(cǎi)用NIR技術(shù)，後面我會(huì)詳細(xì)講解。其次是正方形感測(cè)器的解析度與鏡頭最佳配對(duì)，之所以採(cǎi)用正方形是因?yàn)殡娔X視覺(jué)的採(cǎi)集物件通常是正方形，例如人臉通常就是的正方形。ST感測(cè)器拍攝時(shí)間很短，能夠在確保準(zhǔn)確成像的同時(shí)降低系統(tǒng)功耗。

圖九

除了以上這些影像輸出功能，我們還可以進(jìn)行資料輸出，其中之一就是光流輸出，透過(guò)運(yùn)算動(dòng)作向量獲得資料。圖中顯示人的肢體動(dòng)作，感測(cè)器可以採(cǎi)集資訊、輸出資料，利用光流進(jìn)行手勢(shì)辨識(shí)和追蹤。

圖十

接著來(lái)看用於智慧家庭和智慧大樓的ST全域快門(mén)感測(cè)器：智慧家庭的應(yīng)用需要考慮周全，使用者不希望家裡有個(gè)鏡頭全天候監(jiān)視自己，與此同時(shí)又想要鏡頭和感測(cè)器帶來(lái)的益處，因?yàn)楹芏噍o助功能可以讓使用者的生活變得更加舒適。全域快門(mén)感測(cè)器能夠?qū)崿F(xiàn)這一點(diǎn)，圖十中都是採(cǎi)用電腦視覺(jué)開(kāi)發(fā)的功能，透過(guò)追蹤技術(shù)實(shí)現(xiàn)人機(jī)互動(dòng)。

圖十一

接下來(lái)是用於筆電和個(gè)人電腦鏡頭的ST全域快門(mén)感測(cè)器。我們將所有ST影像產(chǎn)品都應(yīng)用於此，例如之前提到的全域快門(mén)產(chǎn)品，ToF、ALS等等，包括各種參考設(shè)計(jì)。筆電和PC應(yīng)用全域快門(mén)技術(shù)的意義，可以進(jìn)行臉部辨識(shí)、手勢(shì)控制、眼動(dòng)追蹤、舒適度監(jiān)測(cè)和隱私保護(hù)。ToF和ALS則可進(jìn)行存在偵測(cè)、電池續(xù)航、螢?zāi)涣炼茸詣?dòng)調(diào)整和隱私保護(hù)。

圖十二

另外，ST還有一種產(chǎn)品叫做ST AI鏡頭，包括三大類：一是感測(cè)，二是運(yùn)算，三是通訊，電腦視覺(jué)技術(shù)基本上需要這三步。首先要有許多感測(cè)器進(jìn)行資訊採(cǎi)集，包括ToF、IMU這些全域快門(mén)感測(cè)器，然後將資訊傳送至MCU這些AI深度學(xué)習(xí)演算法以取得產(chǎn)出，最後再將結(jié)果傳送至無(wú)線裝置。

圖十三

接著介紹ST的客戶合作：ST標(biāo)準(zhǔn)感測(cè)器開(kāi)發(fā)評(píng)估套件目前已經(jīng)上市，這款產(chǎn)品完全根據(jù)客戶需求而開(kāi)發(fā)。ST交貨的產(chǎn)品還有裸片，客戶可以選擇協(xié)力廠商所提供的封裝感測(cè)器或是鏡頭模組，包括PCB、影像感測(cè)器、鏡頭和介面，共同打造整套工業(yè)用鏡頭產(chǎn)品供應(yīng)鏈。

圖十六

接著要來(lái)探討的是汽車領(lǐng)域的應(yīng)用，車內(nèi)感測(cè)器主要包括四大類：剛才提到的車內(nèi)鏡頭，ADAS鏡頭、觀測(cè)鏡頭和售後鏡頭，主要用於行車記錄器。其中除了車內(nèi)鏡頭屬於新品，其它產(chǎn)品都已經(jīng)相當(dāng)成熟。

圖中右側(cè)顯示目前的市場(chǎng)趨勢(shì)，黃線代表車內(nèi)鏡頭市場(chǎng)趨勢(shì)。可以看到2021年底車內(nèi)鏡頭的市場(chǎng)滲透率約為10%，而到2024年就會(huì)達(dá)到50%。因此這一新興市場(chǎng)發(fā)展是十分迅速的，產(chǎn)業(yè)生態(tài)中的關(guān)係人正紛紛湧入。

圖十七

車內(nèi)鏡頭並不只一種，Euro NCAP為車輛評(píng)估標(biāo)準(zhǔn)體系，曾經(jīng)對(duì)車內(nèi)監(jiān)控系統(tǒng)分為兩類：一類叫做駕駛監(jiān)控系統(tǒng)DMS，另一類叫做車內(nèi)乘客監(jiān)控系統(tǒng)CMS或者OMS。駕駛監(jiān)控系統(tǒng)觀測(cè)物件就是司機(jī)，主要監(jiān)控司機(jī)是否注意力集中，是否有分神或是打瞌睡，因?yàn)檫@些現(xiàn)象會(huì)嚴(yán)重危及行車安全。而車內(nèi)乘客監(jiān)控系統(tǒng)則主要觀測(cè)乘客狀況，特別是兒童，因?yàn)橛行┐中牡氖褂谜呦萝囜釙?huì)將孩子遺留在車內(nèi)。

圖十八

如圖所示，駕駛監(jiān)控系統(tǒng)DMS鏡頭安裝在駕駛員面前，觀測(cè)物件主要是臉，鏡頭必須做得很大，大概50～60度，解析度100～230萬(wàn)畫(huà)素。重點(diǎn)之一在於這裡必須採(cǎi)用NIR鏡頭，因?yàn)椴粌H需要白天對(duì)駕駛員進(jìn)行監(jiān)控，晚上也是需要，因?yàn)楹芏嗳藭?huì)在夜裡開(kāi)車。在這種漆黑的環(huán)境下，必須要有光源投射在駕駛員臉上，但肯定不能使用可見(jiàn)光，所以需要NIR技術(shù)。圖中就是NIR影像和普通鏡頭模組的比較，除了一個(gè)感測(cè)器之外還有NIR光源。

圖十九

車內(nèi)乘客監(jiān)控系統(tǒng)觀測(cè)的是車內(nèi)所有乘員，但不同之處在於，因?yàn)檫@裡需要物體探測(cè)和辨識(shí)，所以需要彩色影像，而且觀測(cè)範(fàn)圍比較寬廣，因此鏡頭視角需要更大，解析度需要更高，才能獲取觀測(cè)領(lǐng)域內(nèi)所有細(xì)部資訊。

圖二十

車內(nèi)乘客監(jiān)控與駕駛監(jiān)控二合一系統(tǒng)，是將CMS、OMS和DMS結(jié)合。剛才提到車內(nèi)乘客監(jiān)控需要RGB彩色影像，駕駛監(jiān)控則需要NIR影像，現(xiàn)在僅需單個(gè)鏡頭就可以同時(shí)支援RGB和NIR。以上都是車內(nèi)鏡頭的要點(diǎn)，下面來(lái)看ST全域快門(mén)感測(cè)器用於汽車領(lǐng)域的兩代產(chǎn)品。

圖二十二

第一代包括四類產(chǎn)品：VD5661A具有160萬(wàn)像素解析度，主要用於DMS。VD5761A具有230萬(wàn)像素解析度，因?yàn)閷凫禡ono（單色）所以也可以用於DMS。ST還有採(cǎi)用彩色RGB的VD6763A和RGB-NIR一體化的VD1762A。可以說(shuō)ST第一代全域感測(cè)器就已經(jīng)能夠覆蓋所有客戶需求，這裡需要注意三個(gè)要點(diǎn)。

首先是高對(duì)比，感測(cè)器能夠輸出對(duì)比度極高的影像意味著能夠獲取更加準(zhǔn)確的資訊，例如取得使用者目視方向必須要有極為準(zhǔn)確的虹膜影像。其次是RGB和NIR的資料管理，這些也需要非常靈活。再來(lái)是高動(dòng)態(tài)，如果使用者處?kù)斗浅Ｃ髁粱蛘吆诎档沫h(huán)境中需要HDR感測(cè)器採(cǎi)集亮暗環(huán)境的影像，通常車內(nèi)都很暗，而車外非常亮，HDR能夠在這兩種環(huán)境條件下取得清晰的影像。

圖二十三

第二代產(chǎn)品VB56G4A具備150萬(wàn)像素解析度，主要用於駕駛監(jiān)控，包括三大要點(diǎn)。首先是高靈敏度，NIR的高靈敏度意味著無(wú)需強(qiáng)勁的LED光源，因?yàn)長(zhǎng)ED耗能會(huì)帶來(lái)更高的功耗，高靈敏度則可避免這些問(wèn)題。其次是感測(cè)器面積小，因?yàn)檎w體積很小，意味著鏡頭模組也可以做得更小，安裝在各種機(jī)械裝置內(nèi)更加容易。再來(lái)就是內(nèi)建處理，感測(cè)器有著智慧自動(dòng)曝光演算法，所有處理運(yùn)算過(guò)程都是自動(dòng)的，無(wú)需人工作業(yè)。

圖二十五

ST標(biāo)準(zhǔn)感測(cè)器評(píng)估套件現(xiàn)可依需求提供，我們的協(xié)力廠商供應(yīng)商也可提供成品鏡頭模組。這些已經(jīng)非常接近最終成品，使用者可以將其安裝在車內(nèi)，然後進(jìn)行快速測(cè)試或安裝其它軟體，所有產(chǎn)品都是為客戶帶來(lái)便利。

圖二十六

總結(jié)來(lái)看，ST汽車全域快門(mén)感測(cè)器總共五類產(chǎn)品，解析度為150萬(wàn)到230萬(wàn)畫(huà)素，能夠滿足車內(nèi)所有類型的需求。所有感測(cè)器具備AEC-Q100二級(jí)汽車認(rèn)證，擁有HDR高動(dòng)態(tài)範(fàn)圍技術(shù)，支援單色和彩色以及一體化成像。ST感測(cè)器擁有彈性的閃光照明控制、高靈敏度近紅外線感測(cè)器和出色的近紅外線頻譜內(nèi)MTF性能。

圖二十七

ST為全球排名前列的全域快門(mén)感測(cè)器供應(yīng)商。關(guān)鍵資訊結(jié)論如下：

●當(dāng)下新興影像應(yīng)用不斷湧現(xiàn)，尤其是人工智慧和元宇宙，需要大量的電腦視覺(jué)技術(shù)。剛才已經(jīng)提到AR和VR，再加上當(dāng)下很紅的元宇宙概念，全域快門(mén)技術(shù)在這些領(lǐng)域大有可為。

●全域快門(mén)感測(cè)器以具有競(jìng)爭(zhēng)力的成本、精確的測(cè)量將成為電腦視覺(jué)應(yīng)用的首選成像技術(shù)。

●ST全域快門(mén)感測(cè)器具有意法半導(dǎo)體專有的像素技術(shù)、更高的方形解析度以及多種嵌入式電腦視覺(jué)功能，完全滿足電腦視覺(jué)應(yīng)用要求。

●作為全球重量級(jí)供應(yīng)商，ST在出貨、品質(zhì)和服務(wù)都在市場(chǎng)名列前茅。

●最後一點(diǎn)，ST不僅能夠提供全域快門(mén)技術(shù)，同樣也提供飛行時(shí)間和環(huán)境光感測(cè)器等光學(xué)技術(shù)，使用者可以根據(jù)自己的需求，將這些不同產(chǎn)品整合在各類情境應(yīng)用中，滿足無(wú)限的未來(lái)應(yīng)用需求。