隨著這波COVID-19變種疫情再度爆發(fā)之後，由於醫(yī)院手術(shù)前需要做COVID-19篩檢，以及民眾普遍擔憂染疫風險，進而造成部分非急迫性的住院手術(shù)與門診手術(shù)相繼取消，外科相關(guān)教學也受其影響而限制。微軟則趁勢導入HoloLens 2混合實境（Mixed Reality，MR）技術(shù)的頭盔，為臨床醫(yī)學應(yīng)用帶來全新啟發(fā)。

經(jīng)由微軟Hololens2可讓治療與手術(shù)更快速完成，以及得到更安全有效的成果，促進每個手術(shù)室都成為智慧手術(shù)場域。

臺北醫(yī)學大學附設(shè)醫(yī)院骨科部脊椎骨科主任吳孟晃表示，早在2013年時這樣的技術(shù)已在脊椎手術(shù)領(lǐng)域中開始應(yīng)用於手術(shù)影像導引及臨床教學，現(xiàn)在也有臨床相關(guān)產(chǎn)品可用於脊椎椎釘放置，但對於目前發(fā)展最迅速的脊椎內(nèi)視鏡手術(shù)，仍未見該創(chuàng)新技術(shù)用於臨床應(yīng)用。

所以當吳孟晃在2019年由北醫(yī)大派往美國史丹佛大學Biodesign進行國際培訓講師訓練時，即觀察到脊椎內(nèi)視鏡手術(shù)的臨床需求具有極大市場潛力，遂提出利用創(chuàng)新科技於脊椎內(nèi)視鏡手術(shù)教學指導的構(gòu)想；同時與矽谷工程師討論，開啟混合實境於脊椎內(nèi)視鏡手術(shù)的應(yīng)用研發(fā)，結(jié)合人工智慧（AI）手術(shù)規(guī)劃及擬真手術(shù)訓練模組，期能發(fā)展出能幫助患者更安全有效、快速復原的智慧超微創(chuàng)脊椎內(nèi)視鏡手術(shù)。

進而積極向微軟取經(jīng)，並與慧術(shù)科技執(zhí)行長李宇捷、專案經(jīng)理姚漢彬、工程師黃中廷、萬芳醫(yī)院神經(jīng)內(nèi)科醫(yī)師陳兆煒、雙和醫(yī)院骨科醫(yī)師陳致宇合作，讓臨床醫(yī)師的需求，在透過資訊工程師的技術(shù)轉(zhuǎn)化後，能制定策略與國際人工智慧醫(yī)療產(chǎn)業(yè)接軌，最終期望能實現(xiàn)商品化。相關(guān)構(gòu)想後於北醫(yī)大SPARK計畫中成型，並進一步向工研院量測技術(shù)發(fā)展中心及臺灣微軟提案，主要內(nèi)容為配合脊椎病患就醫(yī)歷程來進行全方位智慧內(nèi)視鏡手術(shù)解決方案。

包括初期與伊雲(yún)谷公司合作，開發(fā)醫(yī)療資料去識別化模組用於雲(yún)端資料庫人工智慧訓練；並導入HoloLens 2混合實境，作為醫(yī)師與儀器交流最重要的互動平臺。其中為了符合臨床需求的教學及工具，混合實境影像資料需要結(jié)合人工智慧辨識及擬真教學建立手術(shù)訓練方案，來協(xié)助醫(yī)學影像進行深度學習的影像辨識。待影像分割完成後，還須降低噪音，才能在臨床上提供正確清楚的資訊，以利醫(yī)師判斷病情，解決脊椎內(nèi)視鏡手術(shù)學習曲線陡峭的困難。

有別於現(xiàn)有醫(yī)療設(shè)備實際運用在手術(shù)進行時，往往使用各自獨立螢?zāi)唬沟弥委熕栀Y訊分散於醫(yī)療場域中不同位置，在缺乏整合性的影響下，醫(yī)療資訊、醫(yī)療影像、手術(shù)導航指引、及病患手術(shù)視野無法結(jié)合於同一視角，而造成醫(yī)師無法準確辨認手術(shù)實際狀況，導致如植入物放置錯誤或造成出血等併發(fā)癥。

透過HoloLens 2不僅可提供醫(yī)學生及年輕醫(yī)師3D空間無死角的學習環(huán)境，觀察手術(shù)部位不同角度樣貌，或透過第一視野了解醫(yī)師如何執(zhí)行手術(shù)。還能形成解剖生理的動畫，讓醫(yī)學生們以立體透視了解骨骼肌肉神經(jīng)血管分佈，解決傳統(tǒng)解剖學上無法達到的學習效果；進而觀察人體執(zhí)行各動作時，骨骼、肌肉和器官之間的連動關(guān)係，補足大體解剖中欠缺的動態(tài)資訊。此跨領(lǐng)域團隊運用HoloLens 2結(jié)合已開發(fā)完成的手術(shù)教學模組，現(xiàn)正進行北醫(yī)大深耕研究計畫，期望不久後能用於指導臨床手術(shù)。

此外，基於現(xiàn)今智慧手術(shù)室雖強調(diào)資訊整合，卻常因為造價高昂及場地設(shè)計需求高，而無法普及化，經(jīng)由Hololens2也可讓治療與手術(shù)得以更快速完成，以及得到更安全有效的成果，促進每個手術(shù)室都成為智慧手術(shù)場域。隨著醫(yī)療臨床場域高度變化，未來甚至可望依照醫(yī)療中各科別需求，發(fā)展得更貼近專業(yè)產(chǎn)品，並用於各類臨床手術(shù)操作。

臺灣微軟首席營運長陳慧蓉也認同，經(jīng)過結(jié)合不同的醫(yī)療器材專長公司的應(yīng)用，以HoloLens 2為平臺，將可更為客製化、專業(yè)化，來針對特定手術(shù)做混合實境的產(chǎn)品優(yōu)化。既能讓臨床執(zhí)行手術(shù)的醫(yī)師在手術(shù)過程中不必抬頭看各種屏幕，就能透過HoloLens 2頭盔顯示器，看到覆蓋在視野中逐步渲染的3D路徑和所有影像資訊，異地專家也能同步監(jiān)控並即時給予建議。期望在不久將來，可落地實現(xiàn)並拓展國際市場，展現(xiàn)臺灣醫(yī)療BioICT產(chǎn)業(yè)實力。