為了讓消費類應(yīng)用和工業(yè)優(yōu)勢提升機器學習和智慧視覺效能，邊緣設(shè)備的製造和控制應(yīng)用都需要處理器來配合。本文介紹恩智浦i.MX 8M Plus 應(yīng)用處理器的功能，以及如何在嵌入式視覺系統(tǒng)中使用。

製造和工業(yè)流程自動化程度的增加，對基於視覺的智慧系統(tǒng)產(chǎn)生了更多的需求。這些系統(tǒng)捕獲可視輸入，然後使用各種處理技術(shù)根據(jù)該輸入做出決策。這些視覺系統(tǒng)通常整合在更大的控制系統(tǒng)中，因此它們必須能夠與其他設(shè)備進行即時通訊。

恩智浦i.MX 8M Plus 應(yīng)用處理器，為工業(yè)邊緣和廣泛的其他應(yīng)用提供機器學習和智慧視覺支援。以下說明如何在嵌入式視覺系統(tǒng)中使用它。

邊緣運算的優(yōu)勢

當採用雲(yún)端運算時，用戶依賴於本地網(wǎng)路範圍以外的運算資源。通過邊緣運算，大部分處理工作將恢復在本地網(wǎng)路的範圍內(nèi)，因此，敏感數(shù)據(jù)也可以保留在本地網(wǎng)路中。

邊緣設(shè)備可以執(zhí)行各種任務(wù)。在雲(yún)運算模式中，它們通常用於篩選、預處理和儲存或緩衝數(shù)據(jù)。現(xiàn)在的新興技術(shù)如內(nèi)建神經(jīng)處理單元（Integrated neural processing units；NPUs），為邊緣設(shè)備中可以實現(xiàn)的任務(wù)開闢可能性。

邊緣設(shè)備可以根據(jù)各種數(shù)據(jù)源（如攝影機輸入）做出決策，並讓使用戶能夠?qū)⒒緮?shù)據(jù)保留到本地網(wǎng)路中。這減少了必須上傳到雲(yún)端的數(shù)據(jù)量，並提高了系統(tǒng)的整體可靠性和安全性。它還可實現(xiàn)更快的即時決策，因為將數(shù)據(jù)傳輸?shù)诫?yún)和等待控制回應(yīng)會增加延遲，從而阻止雲(yún)計算體系結(jié)構(gòu)解決某些應(yīng)用程式問題。

圖1 : 恩智浦的i.MX 8M Plus應(yīng)用處理器評估套件。（source：NXP）

使用嵌入式NPU，邊緣處理系統(tǒng)可以丟棄來自輸入設(shè)備（如攝影機）當中不需要的資料，並且只能將相關(guān)數(shù)據(jù)集上傳到雲(yún)中。這樣可以節(jié)省本地網(wǎng)站的頻寬，並減少雲(yún)中所需的存儲和處理量，進而降低長期運營成本。

i.MX 8M Plus應(yīng)用處理器

恩智浦通過整合兩個i.MX MIPI CSI攝影機介面和雙攝影圖像信號處理器 （ISP），支持高達1200萬像素的解析度，以及一個 2.3 TOPS 神經(jīng)處理單元 （NPU），在邊緣實現(xiàn)基於視覺的應(yīng)用，從而加快機器學習。

ISP的整合降低了系統(tǒng)的整體複雜性、成本和功耗要求，同時提供成像解決方案，尤其是在200萬像素和更高的解析度下。i.MX 8M Plus擁有的多媒體功能還包括視頻編碼和解碼、2D和3D圖形加速以及音訊和語音功能。

i.MX 8M Plus處理器也整合了通信介面，如2 Gigabit乙太網(wǎng)控制器。其中之一是支援時間敏感網(wǎng)路（TSN）而第，二個支援音訊視頻橋接（AVB）。該設(shè)備還包括雙CAN-FD介面、兩個USB 3.0/2.0埠、一個PCIe 3.0介面及三個SDIO 3.0控制器。

i.MX 8M Plus SoC使用異構(gòu)運算，為開發(fā)人員提供了幾個不同的可程式設(shè)計處理內(nèi)核。通過Arm CortexR-A53以及Ycto Linux為應(yīng)用開發(fā)人員提供有力的支援。整合的M7內(nèi)核提供即時效能，或是可用於啟用低功耗工作模式。

圖2 : 此評估板展示i.MX 8M Plus SoC各種可用埠用於將連接到現(xiàn)有設(shè)備。（source：NXP）

許多製造和控制應(yīng)用都需要高可靠性。為了確保高可靠性，恩智浦在DRAM內(nèi)嵌ECC支援和ECC on-chip RAM，用於檢測和糾正記憶體錯誤。

將上述所有功能整合，i.MX 8M Plus應(yīng)用處理器適合在邊緣啟用基於視覺的嵌入式系統(tǒng)。這些系統(tǒng)的範圍，包括從工廠中檢測生產(chǎn)線上故障專案的品質(zhì)控制機制，到智慧家居控制器（例如自動氣候和安全控制器）。

圖3 : i.MX 8M Plus處理器適用於多個應(yīng)用程式。（source：NXP）

工作條件、壽命和可靠性

許多工業(yè)應(yīng)用案例都需要一個可以長時間在實地運行的處理器。i.MX 8M Plus處理器符合工業(yè)標準，能夠在-40°C至105°C的廣大溫度範圍內(nèi)運行長達10年。

此外，i.MX8M Plus處理器是恩智浦15年壽命計劃的成員，保證產(chǎn)品推出後15年的供應(yīng)。這使得i.MX 8M Plus處理器適用於需要更長產(chǎn)品生命週期的應(yīng)用，無論是由於認證要求或是軟體開發(fā)時間

完整健全的ML開發(fā)生態(tài)系統(tǒng)：eIQ

突破性的ML應(yīng)用程式需要一個能夠完成任務(wù)的設(shè)計和開發(fā)生態(tài)系統(tǒng)。

根據(jù)2019年嵌入式市場研究顯示，55% 的開發(fā)人員表示他們當前或未來的工作需要機器學習。為了跨越鴻溝，為大多數(shù)開發(fā)人員啟用機器學習，機器學習支持必須變得更加全面和更易於使用。更全面的支持意味著必須提供端到端的工作流程，允許開發(fā)人員引入其訓練數(shù)據(jù)，為應(yīng)用選擇正確的模型，執(zhí)行模型訓練、優(yōu)化和量化，最後執(zhí)行目標分析，然後進入生產(chǎn)環(huán)境。

如何更易於使用有時流於主觀，但對於大多數(shù)採用者來說，這意味著必須提供簡化但優(yōu)化的用戶介面。理論上啟用一個機器學習開發(fā)環(huán)境，該環(huán)境基本上可以隱藏詳細資訊，只需單擊幾個選項，即可導入使用者的訓練數(shù)據(jù)並在目標設(shè)備上部署模型。

與Au-Zone一起跨越鴻溝

為能實現(xiàn)更便於使用的使用介面，跨越採用者鴻溝，恩智浦已投資了位於加拿大的Au-zone Technologies公司，建立了獨家的戰(zhàn)略夥伴關(guān)係，以擴大eIQ機器學習軟體開發(fā)環(huán)境，與易於使用的ML工具，並擴大其提供矽優(yōu)化的推理引擎以加速邊緣機器學習。

Au-Zone公司的DeepView ML工具套件將借助直觀的圖形使用者介面（GUI）和工作流來增強eIQ，使所有體驗級別的開發(fā)人員（例如嵌入式開發(fā)人員、數(shù)據(jù)科學家、ML 專家）能夠?qū)霐?shù)據(jù)集以及模型，在整個恩智浦邊緣處理產(chǎn)品組合中快速訓練和部署NN模型和ML工作負載（圖4）。

圖4 : Au-Zone 的 DeepView? ML工具套件（source：NXP）

應(yīng)用案例

i.MX 8M Plus應(yīng)用處理器適合於各種應(yīng)用，從工業(yè)級控制器到節(jié)能消費電子設(shè)備，其中目標應(yīng)用包括工業(yè)HMI、自動化控制器、機器視覺系統(tǒng)、醫(yī)療設(shè)備、家庭安全和監(jiān)控以及車隊管理。