由於人工檢測的方法已不能滿足生產(chǎn)和目前製程的需求，因此隨著人工智慧、高階演算法、高解析度影像感測器的被開發(fā)出來，透過機(jī)器視覺來對產(chǎn)品的表面進(jìn)行缺陷檢測，不僅提高了生產(chǎn)作業(yè)的效率，同時(shí)也避免了因作業(yè)員主觀判斷或惡意動(dòng)作等，影響產(chǎn)品檢測結(jié)果的準(zhǔn)確性，達(dá)到更快、更精確地表面缺陷檢測。
不過，透過適合的機(jī)器視覺檢測就能克服這些，因此隨著表面缺陷檢測系統(tǒng)的廣泛應(yīng)用，協(xié)助提供產(chǎn)品高品質(zhì)化生產(chǎn)與智慧生產(chǎn)自動(dòng)化的發(fā)展。
機(jī)器視覺在2023年全球市場規(guī)模達(dá)到248億美元
根據(jù)BBC Research的市場研究報(bào)告，由於影像感測器、運(yùn)算處理器與人工智慧等技術(shù)快速進(jìn)步，機(jī)器視覺在數(shù)秒之內(nèi)就能夠處理巨大的資料量，而推動(dòng)各方面應(yīng)用激增，使得全球機(jī)器視覺的市場規(guī)模，在2018年約為160億美元，之後，每年的平均成長率將達(dá)到9.2%，預(yù)估在2023年將大幅度成長達(dá)到248億美元。
透過機(jī)器視覺系統(tǒng)的快速處理能力，提供了生產(chǎn)工廠能夠不受生產(chǎn)時(shí)因?yàn)樾枰墓べM(fèi)時(shí)的檢測有缺陷的產(chǎn)品，以及更快速分析出缺陷的產(chǎn)生原因。更進(jìn)一步的，也在生產(chǎn)線上的機(jī)器人導(dǎo)入了視覺輔助系統(tǒng)的應(yīng)用，讓生產(chǎn)用機(jī)器人能夠進(jìn)行更為複雜且精密的運(yùn)作能力，使得應(yīng)用產(chǎn)業(yè)能擴(kuò)展到汽車生產(chǎn)線、藥品、各種產(chǎn)品的封裝、飲食產(chǎn)業(yè)等等。
因應(yīng)各式各樣的產(chǎn)業(yè)或生產(chǎn)應(yīng)用，機(jī)器視覺技術(shù)的架構(gòu)，也使用各種不同的零組件，以及達(dá)到生產(chǎn)安全與高品質(zhì)而需要進(jìn)行各種參數(shù)設(shè)定。完整的機(jī)器視覺系統(tǒng)技術(shù)是整合了各種應(yīng)用軟體和硬體，例如包括了主要系統(tǒng)所需的照明、鏡頭、影像感測器、可視化處理和通信設(shè)備等，來控制設(shè)備的操作，並執(zhí)行影像獲取和處理，並且判斷所需的各種特性的測量等功能，讓機(jī)器視覺系統(tǒng)能在高信賴度下進(jìn)行複雜工業(yè)運(yùn)作。
對於工業(yè)用機(jī)器視覺系統(tǒng)來說，其穩(wěn)定度和可靠度會比一般保全設(shè)施或教育等應(yīng)用來的更好，以及更高的準(zhǔn)確性，甚至?xí)卉娛?、航空、國防或政府所使用，以及更深入的?yīng)用在醫(yī)療與健康照護(hù)上，因此各式各樣的醫(yī)療目的的機(jī)器人應(yīng)用也就被開發(fā)出來。
對於工業(yè)領(lǐng)域應(yīng)用來看，由於品質(zhì)檢查以及製造生產(chǎn)端各種要求的增加，因此機(jī)器視覺系統(tǒng)在製造和品質(zhì)控制的重要性變得愈來愈高 再加上產(chǎn)業(yè)自動(dòng)化的普及，使得導(dǎo)入機(jī)器視覺系統(tǒng)的比例愈來愈高，也因此大幅度增加了市場的成長率。
兩個(gè)重大變化正在影響著機(jī)器視覺
更值得注意的是，整個(gè)機(jī)器視覺市場目前處於加速成長的轉(zhuǎn)折點(diǎn)，並且兩個(gè)重大變化正在影響著機(jī)器視覺的發(fā)展與進(jìn)步。
第一個(gè)重大變化是，機(jī)器視覺的主流技術(shù)已經(jīng)從PC轉(zhuǎn)移到工作站的架構(gòu)。經(jīng)過數(shù)年來開發(fā)，以PC為基礎(chǔ)的機(jī)器視覺系統(tǒng)經(jīng)過多年的發(fā)展，傳統(tǒng)的基於PC的視覺系統(tǒng)已經(jīng)相當(dāng)成熟，並具有一些明顯的優(yōu)勢。例如，高性能、實(shí)現(xiàn)相對複雜的系統(tǒng)功能的能力，以及豐富的軟體和硬體結(jié)構(gòu)。相比之下，由於嵌入式視覺系統(tǒng)性能受到限制，並且通常受成本、功耗、尺寸和外觀的限制，因此需要克服許多技術(shù)挑戰(zhàn)。
然而，開發(fā)機(jī)器視覺的最終目標(biāo)是將視覺功能結(jié)合到各種嵌入式系統(tǒng)中，這使得曾經(jīng)被認(rèn)為是「概念性和無法使用」的嵌入式視覺系統(tǒng)，在真實(shí)應(yīng)用中是有差異性的，它可以應(yīng)用於相當(dāng)多的無法預(yù)先被猜測環(huán)境，而讓嵌入式視覺系統(tǒng)更為實(shí)用?！笩o需特別安裝或增加特別設(shè)備」的市場前景實(shí)際上非常具有吸引力。這就是為什麼近年來這麼多業(yè)者一直專注於開發(fā)嵌入式視覺系統(tǒng)，並共同推動(dòng)成為機(jī)器視覺主流技術(shù)。
機(jī)器視覺市場的第二個(gè)重大變化是由人工智慧所帶動(dòng)的。可視化處理已經(jīng)成為機(jī)器學(xué)習(xí)等AI技術(shù)的最佳應(yīng)用，因此機(jī)器學(xué)習(xí)和深度學(xué)習(xí)的應(yīng)用正對嵌入式視覺系統(tǒng)產(chǎn)生重大影響。
例如，嵌入式視覺產(chǎn)品的目的將從簡單的環(huán)境感測，發(fā)展到更智慧化、視覺引導(dǎo)的自動(dòng)化功能。一個(gè)典型的例子是自動(dòng)駕駛的技術(shù)，在低階的自動(dòng)駕駛輔助系統(tǒng)中，嵌入式視覺通常用作被動(dòng)安全功能，例如檢測或提醒，但是在更先進(jìn)的自動(dòng)駕駛系統(tǒng)中，嵌入式視覺與主動(dòng)安全功能深度整合，提供更快速且高可靠度地進(jìn)行反應(yīng)。
這兩個(gè)重大變化在可預(yù)見的未來，穩(wěn)定地推動(dòng)機(jī)器視覺市場的動(dòng)能，進(jìn)一步以人工智慧技術(shù)為基礎(chǔ)的機(jī)器視覺系統(tǒng)，使整個(gè)生產(chǎn)製造過程變得高度智慧化，並加速工業(yè)4.0的實(shí)現(xiàn)。
透過深度學(xué)習(xí)技術(shù)，更有效率地進(jìn)行缺陷檢測
對於生產(chǎn)製造領(lǐng)域來說，伴隨人力不足與產(chǎn)品多樣化等因素，能夠替代人工目視檢查的自動(dòng)化需求，持續(xù)被高度期待，但如果僅依賴目前影像感測器的能力，對於檢查工程來說，大概只能讓某一部分的製程做到自動(dòng)化。這是因?yàn)檫M(jìn)行多樣化、多規(guī)格化產(chǎn)品生產(chǎn)時(shí)，影像感測器難以滿足進(jìn)行檢測時(shí)，所需要面對各種不同的材質(zhì)、形狀等多樣性。
因此，如果無法讓視覺機(jī)器提高本身的專業(yè)知識數(shù)據(jù)化，就無法對各種檢測需求進(jìn)行不同的調(diào)整。所以對於開發(fā)新一代檢測用視覺機(jī)器的工程人員來說，在滿足全自動(dòng)化檢測的期待下，不僅要能進(jìn)行各式各樣檢測作業(yè)，同時(shí)還能讓檢測設(shè)備工作條件設(shè)定的更為簡易，就成了新一代視覺機(jī)器最大的開發(fā)目標(biāo)。
視覺機(jī)器利用深度學(xué)習(xí)進(jìn)行各式影像分析正不斷的增加中，未來也可以透過物聯(lián)網(wǎng)的架構(gòu)來蒐集能幫助判斷分析所需的影像。以下簡單的描述讓機(jī)器視覺系統(tǒng)，透過強(qiáng)化人工智慧中的深度學(xué)習(xí)技術(shù)，來達(dá)到更有效率進(jìn)行產(chǎn)品表面缺陷檢測，讓整個(gè)生產(chǎn)過程更快速與高正確性。
雖然就機(jī)器視覺技術(shù)來說，產(chǎn)品表面缺陷檢測只是其中一項(xiàng)應(yīng)用，但是在背後所須投入的心力卻是相當(dāng)龐大，首先必須利用計(jì)算機(jī)視覺模擬人類視覺的功能，從具體實(shí)物進(jìn)行影像的蒐集處理，再對檢測系統(tǒng)進(jìn)行繁複的訓(xùn)練，包括建立正確、缺陷產(chǎn)品影像的資料庫，檢測判斷處理與運(yùn)算的程式編寫，及進(jìn)行實(shí)際檢測、控制和應(yīng)用(圖一)。產(chǎn)品的表面缺陷檢測是機(jī)器視覺檢測的一個(gè)重要部分，其檢測的準(zhǔn)確程度會直接影響產(chǎn)品品質(zhì)的優(yōu)劣。
| 圖一 : 機(jī)器視覺進(jìn)行檢測必須的關(guān)鍵技術(shù)。（source：RICOH，智動(dòng)化整理） |
|
機(jī)器視覺智慧檢測系統(tǒng)
在利用機(jī)器視覺對產(chǎn)品表面實(shí)際進(jìn)行檢測前，一般而言，大多都需要進(jìn)行以下的動(dòng)作。首先，利用影像蒐集系統(tǒng)來對物體表面的特徵進(jìn)行分析；其次，再對影像進(jìn)行區(qū)塊的分割，讓產(chǎn)品表面缺陷能像能夠按照其特有的區(qū)域特徵進(jìn)行分類；最後，在以上分類區(qū)域中，進(jìn)一步分析目標(biāo)區(qū)域。透過這三個(gè)動(dòng)作之後，就能對產(chǎn)品表面缺陷區(qū)域和特徵進(jìn)一步確認(rèn)，這樣表面缺陷檢測的基本動(dòng)作就完成了(圖二、三)。
| 圖二 : 利用機(jī)器視覺對一般性物體辨識的處理流程。（source：RICOH，智動(dòng)化整理） |
|
| 圖三 : 機(jī)器視覺藉由機(jī)械學(xué)習(xí)來進(jìn)行外觀檢查開發(fā)流程。（source：RICOH，智動(dòng)化整理） |
|
透過預(yù)先學(xué)習(xí)的演算法來減少學(xué)習(xí)樣品數(shù)
在外觀檢查後，進(jìn)一步地期望達(dá)到實(shí)用化的話，就必須對視覺機(jī)器辨識系統(tǒng)提供大量的學(xué)習(xí)用影像，這對於現(xiàn)場的作業(yè)人員是一項(xiàng)相當(dāng)大的負(fù)擔(dān)。從學(xué)習(xí)的觀點(diǎn)來看，為了避免出現(xiàn)「過度學(xué)習(xí)」，一般來說，需要特徵量畫素點(diǎn)的5-10倍資料量，例如，單純的特徵量需要數(shù)畫素點(diǎn)到數(shù)十畫素點(diǎn)，而複雜的特徵量的話，就需要數(shù)百，甚至於高達(dá)數(shù)千畫素點(diǎn)。
因此，就生產(chǎn)線而言，能夠蒐集到足夠用來學(xué)習(xí)的足夠影像數(shù)量，大多數(shù)人都同意這是一件相當(dāng)困難的事情。因此為了解決這樣的困擾，已經(jīng)有相當(dāng)多視覺機(jī)器辨識系統(tǒng)開發(fā)人員開始朝向不需要在生產(chǎn)線上準(zhǔn)備學(xué)習(xí)用的影像，而是透過預(yù)先學(xué)習(xí)的演算法來進(jìn)行外觀檢查的技術(shù)。
對於能夠達(dá)到被期待的外觀檢查技術(shù)來說，必須在各式各樣的物體表面中，從細(xì)微缺陷情況下檢測出缺陷部分。圖四是各種外觀檢查的缺陷狀態(tài)分類。在這樣的分類中，前述預(yù)先學(xué)習(xí)的演算法來進(jìn)行外觀檢查技術(shù)，可以更進(jìn)一步的即使是同樣的產(chǎn)品，但在其他的生產(chǎn)過中也可以檢測出具有缺陷的產(chǎn)品。
| 圖四 : 是各種外觀檢查的缺陷狀態(tài)分類。（source：OMRON，智動(dòng)化整理） |
|
而檢測過程的概述如圖五所示，透過利用預(yù)學(xué)習(xí)型卷積神經(jīng)網(wǎng)絡(luò)（CNN）處理輸入學(xué)習(xí)照片，並產(chǎn)生顯示缺陷可能性的特徵的影像。然後將所獲得的特徵影像二值化並標(biāo)示為缺陷區(qū)域。
| 圖五 : 預(yù)學(xué)習(xí)型檢測過程。（source：OMRON） |
|
CNN可能是機(jī)器視覺系統(tǒng)中應(yīng)用最廣泛的神經(jīng)網(wǎng)路。這有幾個(gè)原因。首先，CNN的架構(gòu)旨在更緊密地模仿人類視覺皮層和模式識別機(jī)制。
另一方面，CNN架構(gòu)類比人類視覺系統(tǒng)(HVS)，其中視網(wǎng)膜輸出執(zhí)行諸如邊緣檢測的特徵提取。在CNN中，該卷積用於執(zhí)行特徵提取，因此表示輸入圖像的特徵。這些卷積層排列成特徵圖，每個(gè)神經(jīng)元都有一個(gè)接收域，透過一組可訓(xùn)練的權(quán)重連接到前一層的神經(jīng)元。在提取這些特徵之後，使用合併層來減小影像資料表示的大小，以提高計(jì)算速度。然後將該影像資料回送到最終網(wǎng)路層以進(jìn)行進(jìn)一步的資料處理。
進(jìn)行此類作業(yè)時(shí)的深度學(xué)習(xí)，通?；遁敵鎏幚斫Y(jié)果的演算法，例如Object detection、Semantic segmentation等，而有些業(yè)者的演算法是以最終輸出Feature Map為目標(biāo)。其原因在於在實(shí)際現(xiàn)場中，對於確認(rèn)產(chǎn)品是否有缺陷或可接受，每條生產(chǎn)線的判斷標(biāo)準(zhǔn)是不同的，並且必須留出用於為每條生產(chǎn)線設(shè)定保留一定的彈性空間。
因此在實(shí)際操作模式上，在影像感測器上所使用的演算法，僅強(qiáng)調(diào)缺陷部分的特徵部分之後，利用簡單影像處理二值化和標(biāo)記來確認(rèn)缺陷的位置，作為一系列檢查流程的一部分，例如確定使用大小的通過/失敗。
缺陷檢測影像的演算法
在製造現(xiàn)場的缺陷檢查中，如果被判定是影像中出現(xiàn)缺陷以外的東西，就必須在後續(xù)處理中進(jìn)行其他分類的動(dòng)作。因此可透過可視「缺陷特徵」的Feature Map來指定位置和大小。Feature Map包含以下兩個(gè)步驟：步驟1. 推算出檢查影像包含缺陷的概率、步驟2. 找到並推算缺陷的位置(圖六)。
| 圖六 : Feature Map的產(chǎn)生流程。（source: OMRON） |
|
首先，在步驟1中，將檢查影像輸入到CNN，並且以0到1的概率輸出影像中存在缺陷的可能性。 CNN使用大量缺陷影像預(yù)先學(xué)習(xí)，並且在檢查影像中包括接近缺陷的Pattern時(shí)輸出高值位。
接下來，在步驟2中，從檢查影像中的哪個(gè)位置獲得在步驟1中估計(jì)的缺陷概率。在CNN中已知缺陷位置的資料，包括在每個(gè)中間層的缺陷的位置計(jì)算結(jié)果中，並且使用這些資料，可以以檢查影像的像素為單位計(jì)算對缺陷的概率。最後，透過將每個(gè)像素適當(dāng)?shù)姆糯髞慝@得Feature Map。
Feature Map的一個(gè)案例如圖七所示。在該圖中，隨著對缺陷概率的增加，顏色會從藍(lán)色轉(zhuǎn)變?yōu)榧t色，並且可以發(fā)現(xiàn)，檢查影像中存在缺陷的部分具有高值位。
| 圖七 : Feature Map的案例。（source：OMRON） |
|
英特爾、IBM、NVIDIA、微軟等大公司和Google都提供開放原始碼來開發(fā)機(jī)器學(xué)習(xí)演算法。有趣的是，在圖八中顯示了一個(gè)比較基於11個(gè)資料來源的深度學(xué)習(xí)框架的圖表，Google的TensorFlow機(jī)器學(xué)習(xí)庫是最廣泛使用的機(jī)器學(xué)習(xí)軟體。
| 圖八 : Keras已經(jīng)證明，基於11個(gè)資料來源，Google的TensorFlow機(jī)器學(xué)習(xí)庫是最廣泛採用的機(jī)器學(xué)習(xí)軟體。 |
|
使用這些工具，開發(fā)人員正積極針對機(jī)器視覺開發(fā)應(yīng)用程式。例如，英特爾已經(jīng)發(fā)表了和飛利浦合作的OpenVINO系統(tǒng)，OpenVINO可以在不使用GPU的情況下對X射線和電腦斷層掃描(CT)進(jìn)行深度學(xué)習(xí)推斷。而使用一般的CPU可能需要數(shù)小時(shí)或數(shù)天才能進(jìn)行此類分析。為了擴(kuò)展現(xiàn)有CPU架構(gòu)的性能，飛利浦進(jìn)一步強(qiáng)化OpenVINO和深度學(xué)習(xí)方法，提供了比標(biāo)準(zhǔn)CPU方法快200倍的速度來進(jìn)行深度學(xué)習(xí)，使得不需要GPU來進(jìn)行處理。
深度學(xué)習(xí)在機(jī)器視覺領(lǐng)域的機(jī)遇與挑戰(zhàn)
深度學(xué)習(xí)為一些採用傳統(tǒng)視覺系統(tǒng)帶來了希望。不僅是能從AI中獲益，傳統(tǒng)的缺陷檢測還有另一項(xiàng)問題，那就是使用傳統(tǒng)演算法難以定義缺陷，需要在每次出現(xiàn)新的缺陷時(shí)重做設(shè)定。但是透過擁有大量學(xué)習(xí)樣品的人工智慧，可以得到一個(gè)非常清晰的學(xué)習(xí)，讓機(jī)器視覺系統(tǒng)知道哪些部分是良品，哪些是有缺陷的。
隨著AI在機(jī)器視覺方面的興起，該技術(shù)將適用於更多的檢查任務(wù)，最終超越工業(yè)自動(dòng)化領(lǐng)域。因此深度學(xué)習(xí)在醫(yī)療、生命科學(xué)、食品等都將有很好的發(fā)展前景。未來，在醫(yī)療診斷、監(jiān)視、自動(dòng)駕駛和智慧農(nóng)業(yè)等領(lǐng)域，將會更多地引入深度學(xué)習(xí)技術(shù)，以實(shí)現(xiàn)檢查或地圖分析等功能。
許多機(jī)器視覺專業(yè)人士已經(jīng)認(rèn)識到AI和深度學(xué)習(xí)將對視覺行業(yè)帶來重要的影響，但他們認(rèn)為AI的全部潛力可能至少要在3到5年之後才會爆發(fā)。此外，AI也並不是解決所有傳統(tǒng)機(jī)器視覺和影像處理問題的唯一方法。
不過，具備AI基礎(chǔ)的機(jī)器視覺系統(tǒng)，還是存在兩個(gè)缺點(diǎn)。首先，系統(tǒng)需要大量的預(yù)先學(xué)習(xí)訓(xùn)練，這就需要建立一個(gè)專業(yè)團(tuán)隊(duì)，以便於達(dá)到高精確的分類。另一個(gè)缺點(diǎn)就是機(jī)器視覺系統(tǒng)被訓(xùn)練完畢後，一旦發(fā)現(xiàn)分類作業(yè)出現(xiàn)過多的失敗，那就很難解決這個(gè)問題，如此一來幾乎是別無選擇，只能再重新訓(xùn)練一個(gè)新的樣品資料庫。
*刊頭圖(圖片來源：Racetrack)
