NVIDIA (輝達(dá)) 宣布於 SIGGRAPH 大會(huì)首度亮相在虛擬實(shí)境環(huán)境Holodeck計(jì)畫 (Project Holodeck) 中，利用 Isaac Lab 模擬器訓(xùn)練出的機(jī)器人，並同時(shí)推出 VRWorks 360 Video SDK，協(xié)助全球各地內(nèi)容創(chuàng)作者以即時(shí)串流方式向觀眾播放高畫質(zhì) 360 度全景影片。
 |
| Isaac 與 Holodeck demo |
現(xiàn)場(chǎng)與會(huì)來(lái)賓不僅能在真實(shí)生活與 Isaac 機(jī)器人輪流推倒骨牌，還能戴上VR頭盔，透過(guò)Holodeck進(jìn)入模擬世界進(jìn)行遊戲，藉此展現(xiàn)Isaac機(jī)器人能透過(guò)現(xiàn)實(shí)或虛擬世界的互動(dòng)進(jìn)行學(xué)習(xí)，利用AI不斷自我修正與更新。
此外，NVIDIA於Holodeck平臺(tái)上展出瑞典超跑品牌Koenigsegg旗下車款Regera，其虛擬車模型由超過(guò)5000萬(wàn)個(gè)多邊形組建而成。現(xiàn)場(chǎng)來(lái)賓能變換車色、移動(dòng)透視環(huán)觀看零件並探索跑車模型的細(xì)節(jié)，同時(shí)，各展間的參觀者能在共用的虛擬空間中看見(jiàn)彼此並相互交談。
NVIDIA也於現(xiàn)場(chǎng)展出最新推出的 VRWorks 360 Video SDK，利用 Z-CAM V1 PRO 與 Quadro P6000繪圖卡製作現(xiàn)場(chǎng)360度即時(shí)全景影片串流，讓參觀者能見(jiàn)識(shí)實(shí)機(jī)運(yùn)行的 360 度影片拼接功能。
親身體驗(yàn)Isaac與Project Holodeck
NVIDIA Isaac 是一款以 Isaac Lab 強(qiáng)大模擬環(huán)境進(jìn)行訓(xùn)練的 AI 機(jī)器人，其能幫助機(jī)器人學(xué)習(xí)精細(xì)的人機(jī)互動(dòng)工作，如倒咖啡、照顧老年人、動(dòng)手術(shù)以及玩骨牌等。而 Project Holodeck 則為能進(jìn)行精準(zhǔn)物理模擬並同時(shí)容納多個(gè)使用者的虛擬實(shí)境協(xié)作平臺(tái)，讓人類進(jìn)入模擬世界並以真實(shí)生活中的方式在 VR 環(huán)境中與機(jī)器人進(jìn)行互動(dòng)、調(diào)校以及測(cè)試，藉此研究人員便能以更安全、快速、低成本的方式將它們部署在真實(shí)世界中。
現(xiàn)場(chǎng)展示兩種技術(shù)如何共同運(yùn)作，如在骨牌遊戲中，NVIDIA 利用深度學(xué)習(xí)結(jié)合電腦視覺(jué)，讓機(jī)器人感知人類的存在並做出回應(yīng)，第一層類神經(jīng)網(wǎng)路會(huì)根據(jù)所擷取的骨牌影像辨識(shí)遊戲進(jìn)行狀態(tài)，並判斷各種符合規(guī)則的走法，接著資料傳給另一個(gè)類神經(jīng)網(wǎng)路，利用增強(qiáng)學(xué)習(xí)技術(shù)判斷該選擇哪片骨牌以及置於何處。
NVIDIA開(kāi)啟未來(lái)即時(shí)360度影片
最新 VRWorks 360 Video SDK 中的 360 度全景拼接技術(shù)是即時(shí)製片與現(xiàn)場(chǎng)轉(zhuǎn)播產(chǎn)業(yè)的大躍進(jìn)，不僅能加速全景影片拼接流程還能維持高品質(zhì)影像畫素，讓製作公司、相機(jī)廠商與 app 程式開(kāi)發(fā)者能將 360 度影片拼接 SDK 整合到即時(shí)轉(zhuǎn)播與後製作業(yè)。
NVIDIA 與率先將專業(yè)即時(shí) VR 攝影機(jī)帶到大眾市場(chǎng)的 Z CAM 合作，將 NVIDIA VRWorks 360 度影片 SDK 整合到新款 V1 Pro 機(jī)種以及 WonderStitch 和 WonderLive拼接程式。
預(yù)計(jì)於8月7日開(kāi)放下載的 VRWorks 360 Video SDK 讓開(kāi)發(fā)者能擷取、拼接和串流360 度影片。在即時(shí)與後製模式下都支援360度單聲道 與立體聲作業(yè)流程，VRWorks將帶來(lái)：
*透過(guò) 4K 攝影機(jī)進(jìn)行即時(shí)與離線影片拼接
*GPU 加速的影片解碼、校正、拼接及編碼
*360 度投影至立體地圖與全景模式
*支援 GPUDirect for Video技術(shù) ，以低延遲模式輸入影片
*支援 32 個(gè)影片串流
Project Holodeck 公測(cè)試用計(jì)畫將於2017年9月開(kāi)放。
