由于人工檢測的方法已不能滿足生產和目前制程的需求，因此隨著人工智慧、高階演算法、高解析度影像感測器的被開發出來，透過機器視覺來對產品的表面進行缺陷檢測，不僅提高了生產作業的效率，同時也避免了因作業員主觀判斷或惡意動作等，影響產品檢測結果的準確性，達到更快、更精確地表面缺陷檢測。
不過，透過適合的機器視覺檢測就能克服這些，因此隨著表面缺陷檢測系統的廣泛應用，協助提供產品高品質化生產與智慧生產自動化的發展。
機器視覺在2023年全球市場規模達到248億美元
根據BBC Research的市場研究報告，由于影像感測器、運算處理器與人工智慧等技術快速進步，機器視覺在數秒之內就能夠處理巨大的資料量，而推動各方面應用激增，使得全球機器視覺的市場規模，在2018年約為160億美元，之后，每年的平均成長率將達到9.2%，預估在2023年將大幅度成長達到248億美元。
透過機器視覺系統的快速處理能力，提供了生產工廠能夠不受生產時因為需要耗工費時的檢測有缺陷的產品，以及更快速分析出缺陷的產生原因。更進一步的，也在生產線上的機器人導入了視覺輔助系統的應用，讓生產用機器人能夠進行更為復雜且精密的運作能力，使得應用產業能擴展到汽車生產線、藥品、各種產品的封裝、飲食產業等等。
因應各式各樣的產業或生產應用，機器視覺技術的架構，也使用各種不同的零組件，以及達到生產安全與高品質而需要進行各種參數設定。完整的機器視覺系統技術是整合了各種應用軟體和硬體，例如包括了主要系統所需的照明、鏡頭、影像感測器、可視化處理和通信設備等，來控制設備的操作，并執行影像獲取和處理，并且判斷所需的各種特性的測量等功能，讓機器視覺系統能在高信賴度下進行復雜工業運作。
對于工業用機器視覺系統來說，其穩定度和可靠度會比一般保全設施或教育等應用來的更好，以及更高的準確性，甚至會被軍事、航空、國防或政府所使用，以及更深入的應用在醫療與健康照護上，因此各式各樣的醫療目的的機器人應用也就被開發出來。
對于工業領域應用來看，由于品質檢查以及制造生產端各種要求的增加，因此機器視覺系統在制造和品質控制的重要性變得愈來愈高 再加上產業自動化的普及，使得導入機器視覺系統的比例愈來愈高，也因此大幅度增加了市場的成長率。
兩個重大變化正在影響著機器視覺
更值得注意的是，整個機器視覺市場目前處于加速成長的轉折點，并且兩個重大變化正在影響著機器視覺的發展與進步。
第一個重大變化是，機器視覺的主流技術已經從PC轉移到工作站的架構。經過數年來開發，以PC為基礎的機器視覺系統經過多年的發展，傳統的基于PC的視覺系統已經相當成熟，并具有一些明顯的優勢。例如，高性能、實現相對復雜的系統功能的能力，以及豐富的軟體和硬體結構。相比之下，由于嵌入式視覺系統性能受到限制，并且通常受成本、功耗、尺寸和外觀的限制，因此需要克服許多技術挑戰。
然而，開發機器視覺的最終目標是將視覺功能結合到各種嵌入式系統中，這使得曾經被認為是「概念性和無法使用」的嵌入式視覺系統，在真實應用中是有差異性的，它可以應用于相當多的無法預先被猜測環境，而讓嵌入式視覺系統更為實用。 「無需特別安裝或增加特別設備」的市場前景實際上非常具有吸引力。這就是為什么近年來這么多業者一直專注于開發嵌入式視覺系統，并共同推動成為機器視覺主流技術。
機器視覺市場的第二個重大變化是由人工智慧所帶動的。可視化處理已經成為機器學習等AI技術的最佳應用，因此機器學習和深度學習的應用正對嵌入式視覺系統產生重大影響。
例如，嵌入式視覺產品的目的將從簡單的環境感測，發展到更智慧化、視覺引導的自動化功能。一個典型的例子是自動駕駛的技術，在低階的自動駕駛輔助系統中，嵌入式視覺通常用作被動安全功能，例如檢測或提醒，但是在更先進的自動駕駛系統中，嵌入式視覺與主動安全功能深度整合，提供更快速且高可靠度地進行反應。
這兩個重大變化在可預見的未來，穩定地推動機器視覺市場的動能，進一步以人工智慧技術為基礎的機器視覺系統，使整個生產制造過程變得高度智慧化，并加速工業4.0的實現。
透過深度學習技術，更有效率地進行缺陷檢測
對于生產制造領域來說，伴隨人力不足與產品多樣化等因素，能夠替代人工目視檢查的自動化需求，持續被高度期待，但如果僅依賴目前影像感測器的能力，對于檢查工程來說，大概只能讓某一部分的制程做到自動化。這是因為進行多樣化、多規格化產品生產時，影像感測器難以滿足進行檢測時，所需要面對各種不同的材質、形狀等多樣性。
因此，如果無法讓視覺機器提高本身的專業知識數據化，就無法對各種檢測需求進行不同的調整。所以對于開發新一代檢測用視覺機器的工程人員來說，在滿足全自動化檢測的期待下，不僅要能進行各式各樣檢測作業，同時還能讓檢測設備工作條件設定的更為簡易，就成了新一代視覺機器最大的開發目標。
視覺機器利用深度學習進行各式影像分析正不斷的增加中，未來也可以透過物聯網的架構來搜集能幫助判斷分析所需的影像。以下簡單的描述讓機器視覺系統，透過強化人工智慧中的深度學習技術，來達到更有效率進行產品表面缺陷檢測，讓整個生產過程更快速與高正確性。
雖然就機器視覺技術來說，產品表面缺陷檢測只是其中一項應用，但是在背后所須投入的心力卻是相當龐大，首先必須利用計算機視覺模擬人類視覺的功能，從具體實物進行影像的搜集處理，再對檢測系統進行繁復的訓練，包括建立正確、缺陷產品影像的資料庫，檢測判斷處理與運算的程式編寫，及進行實際檢測、控制和應用(圖一)。產品的表面缺陷檢測是機器視覺檢測的一個重要部分，其檢測的準確程度會直接影響產品品質的優劣。
| 圖一 : 機器視覺進行檢測必須的關鍵技術。（source：RICOH，智動化整理） |
|
機器視覺智慧檢測系統
在利用機器視覺對產品表面實際進行檢測前，一般而言，大多都需要進行以下的動作。首先，利用影像搜集系統來對物體表面的特征進行分析；其次，再對影像進行區塊的分割，讓產品表面缺陷能像能夠按照其特有的區域特征進行分類；最后，在以上分類區域中，進一步分析目標區域。透過這三個動作之后，就能對產品表面缺陷區域和特征進一步確認，這樣表面缺陷檢測的基本動作就完成了(圖二、三)。
| 圖二 : 利用機器視覺對一般性物體辨識的處理流程。（source：RICOH，智動化整理） |
|
| 圖三 : 機器視覺藉由機械學習來進行外觀檢查開發流程。（source：RICOH，智動化整理） |
|
透過預先學習的演算法來減少學習樣品數
在外觀檢查后，進一步地期望達到實用化的話，就必須對視覺機器辨識系統提供大量的學習用影像，這對于現場的作業人員是一項相當大的負擔。從學習的觀點來看，為了避免出現「過度學習」，一般來說，需要特征量畫素點的5-10倍資料量，例如，單純的特征量需要數畫素點到數十畫素點，而復雜的特征量的話，就需要數百，甚至于高達數千畫素點。
因此，就生產線而言，能夠搜集到足夠用來學習的足夠影像數量，大多數人都同意這是一件相當困難的事情。因此為了解決這樣的困擾，已經有相當多視覺機器辨識系統開發人員開始朝向不需要在生產線上準備學習用的影像，而是透過預先學習的演算法來進行外觀檢查的技術。
對于能夠達到被期待的外觀檢查技術來說，必須在各式各樣的物體表面中，從細微缺陷情況下檢測出缺陷部分。圖四是各種外觀檢查的缺陷狀態分類。在這樣的分類中，前述預先學習的演算法來進行外觀檢查技術，可以更進一步的即使是同樣的產品，但在其他的生產過中也可以檢測出具有缺陷的產品。
| 圖四 : 是各種外觀檢查的缺陷狀態分類。 （source：OMRON，智動化整理） |
|
而檢測過程的概述如圖五所示，透過利用預學習型卷積神經網絡（CNN）處理輸入學習照片，并產生顯示缺陷可能性的特征的影像。然后將所獲得的特征影像二值化并標示為缺陷區域。
| 圖五 : 預學習型檢測過程。（source：OMRON） |
|
CNN可能是機器視覺系統中應用最廣泛的神經網路。這有幾個原因。首先，CNN的架構旨在更緊密地模仿人類視覺皮層和模式識別機制。
另一方面，CNN架構類比人類視覺系統(HVS)，其中視網膜輸出執行諸如邊緣檢測的特征提取。在CNN中，該卷積用于執行特征提取，因此表示輸入圖像的特征。這些卷積層排列成特征圖，每個神經元都有一個接收域，透過一組可訓練的權重連接到前一層的神經元。在提取這些特征之后，使用合并層來減小影像資料表示的大小，以提高計算速度。然后將該影像資料回送到最終網路層以進行進一步的資料處理。
進行此類作業時的深度學習，通常基于輸出處理結果的演算法，例如Object detection、Semantic segmentation等，而有些業者的演算法是以最終輸出Feature Map為目標。其原因在于在實際現場中，對于確認產品是否有缺陷或可接受，每條生產線的判斷標準是不同的，并且必須留出用于為每條生產線設定保留一定的彈性空間。
因此在實際操作模式上，在影像感測器上所使用的演算法，僅強調缺陷部分的特征部分之后，利用簡單影像處理二值化和標記來確認缺陷的位置，作為一系列檢查流程的一部分，例如確定使用大小的通過/失敗。
缺陷檢測影像的演算法
在制造現場的缺陷檢查中，如果被判定是影像中出現缺陷以外的東西，就必須在后續處理中進行其他分類的動作。因此可透過可視「缺陷特征」的Feature Map來指定位置和大小。 Feature Map包含以下兩個步驟：步驟1. 推算出檢查影像包含缺陷的概率、步驟2. 找到并推算缺陷的位置(圖六)。
| 圖六 : Feature Map的產生流程。 （source: OMRON） |
|
首先，在步驟1中，將檢查影像輸入到CNN，并且以0到1的概率輸出影像中存在缺陷的可能性。 CNN使用大量缺陷影像預先學習，并且在檢查影像中包括接近缺陷的Pattern時輸出高值位。
接下來，在步驟2中，從檢查影像中的哪個位置獲得在步驟1中估計的缺陷概率。在CNN中已知缺陷位置的資料，包括在每個中間層的缺陷的位置計算結果中，并且使用這些資料，可以以檢查影像的像素為單位計算對缺陷的概率。最后，透過將每個像素適當的放大來獲得Feature Map。
Feature Map的一個案例如圖七所示。在該圖中，隨著對缺陷概率的增加，顏色會從藍色轉變為紅色，并且可以發現，檢查影像中存在缺陷的部分具有高值位。
| 圖七 : Feature Map的案例。（source：OMRON） |
|
英特爾、IBM、NVIDIA、微軟等大公司和Google都提供開放原始碼來開發機器學習演算法。有趣的是，在圖八中顯示了一個比較基于11個資料來源的深度學習框架的圖表，Google的TensorFlow機器學習庫是最廣泛使用的機器學習軟體。
| 圖八 : Keras已經證明，基於11個資料來源，Google的TensorFlow機器學習庫是最廣泛采用的機器學習軟體。 |
|
使用這些工具，開發人員正積極針對機器視覺開發應用程式。例如，英特爾已經發表了和飛利浦合作的OpenVINO系統，OpenVINO可以在不使用GPU的情況下對X射線和電腦斷層掃描(CT)進行深度學習推斷。而使用一般的CPU可能需要數小時或數天才能進行此類分析。為了擴展現有CPU架構的性能，飛利浦進一步強化OpenVINO和深度學習方法，提供了比標準CPU方法快200倍的速度來進行深度學習，使得不需要GPU來進行處理。
深度學習在機器視覺領域的機遇與挑戰
深度學習為一些采用傳統視覺系統帶來了希望。不僅是能從AI中獲益，傳統的缺陷檢測還有另一項問題，那就是使用傳統演算法難以定義缺陷，需要在每次出現新的缺陷時重做設定。但是透過擁有大量學習樣品的人工智慧，可以得到一個非常清晰的學習，讓機器視覺系統知道哪些部分是良品，哪些是有缺陷的。
隨著AI在機器視覺方面的興起，該技術將適用于更多的檢查任務，最終超越工業自動化領域。因此深度學習在醫療、生命科學、食品等都將有很好的發展前景。未來，在醫療診斷、監視、自動駕駛和智慧農業等領域，將會更多地引入深度學習技術，以實現檢查或地圖分析等功能。
許多機器視覺專業人士已經認識到AI和深度學習將對視覺行業帶來重要的影響，但他們認為AI的全部潛力可能至少要在3到5年之后才會爆發。此外，AI也并不是解決所有傳統機器視覺和影像處理問題的唯一方法。
不過，具備AI基礎的機器視覺系統，還是存在兩個缺點。首先，系統需要大量的預先學習訓練，這就需要建立一個專業團隊，以便于達到高精確的分類。另一個缺點就是機器視覺系統被訓練完畢后，一旦發現分類作業出現過多的失敗，那就很難解決這個問題，如此一來幾乎是別無選擇，只能再重新訓練一個新的樣品資料庫。
*刊頭圖(圖片來源：Racetrack)
