【專題文章】傲慢與偏見與Mr. Darcy+ ②

上篇先談了博物館的「傲慢與偏見」，
本篇就和大家談談MR如何引導AR進入更多元的展示科技應用。

一、先從「Mr Darcy +」的破題談「MR如何引導AR」?

　　因為中國科大互動系的教學與研發需求，目前正針對展示場域的數位科技應用持續推動【G.A.M.E.虛實合創~行動化數位導覽建構計劃】(簡稱「Project G.A.M.E.」)，G.A.M.E.談的是Gamified AR/ MR Entertainment（遊戲化 AR/ MR互動娛樂），但也會因功能目的不同變成Gamified AR/ MR Exhibition （或 Education, 甚至E-Culture Creativity）。互動系也持續爭取博物館、遊樂場、展覽場的實際場預測與展演，光是這個106-2學期系上老師已透過不同資源，安排了多項校外展出，包括即將今年7月到9月暑假期間於「新竹市241藝術空間」的展出，這是由本系陳韻如老師策展，由本系師生參與的科技藝術展演，近期會開始宣傳。

　　基本上，互動系及個人是從數位科技研發與測試去驗證場域實用性以及檢視學理實務性的，特別重視「數位擴增內容 Digital Augmented Component」的應用，希望從「博物館/展示科技」出發，能與相關學術研究與實務需求有更多的交集。因此這階段的「Project G.A.M.E.」是逐步透過AR與MR數位技術研發，在實務場域中以展場實景與展件實品為基礎，有效使用「數位典藏資訊」作為「數位擴增內容」，這些數位典藏資訊不僅是國外各館的基礎數位化工程成果，也是前面提到「博物館知識『民主化（Democratization）』的重要推手」。這種數位技術不僅不會對展場或展品有任何破壞，反而是可以再增加許多「因為展場限制無法提供」、「實際觀賞行為無法取得」的展品內容，我們將它稱之為「無損式擴增展示資訊(non-destructive augmented exhi- bition information)」，其目的就是針對深度學習需求觀眾族群提供知識性、趣味性、互動性兼具的擴增展示內容。 

　　至於為何介紹「MR Directs AR Communicating Your + （Mr Darcy +）」的概念與內容會特別提出「MR如何引導AR（MR Directs AR）」？ 

　　先從上圖說起，這張中所見的裝置是本土電腦大廠acer在2017年推出一款頭戴式顯示器，叫做「Acer Windows Mixed Reality 頭戴式顯示器」，它在品名上強調著「MR」功能，但目前許多宣傳與開箱很不給面子，因為他們看到的就只有VR功能，也難怪有國外網友分享他的看法，用了這個標題：「Don't be fooled: Windows Mixed Reality headsets are just VR headsets」，雖然他在文中的小標是寫「It’s just VR (for now)」。對此有興趣瞭解的人，可以先點閱了解這些「掛羊頭賣狗肉(for now)」的數位產品。互動系也買了Acer Windows Mixed Reality 頭戴式顯示器搭配背包PC使用，目前正在測試中。

　　也因此常見到網路上有人說：「AR、MR、VR傻傻分不清」，其實應該說是「AR與MR分不清」、「VR與360分不清」。如果真的分不清，個人推薦Scottie Gardonio寫的這篇「What’s the Difference Between VR, AR, MR, and 360? Know the difference to make sense of our new digital worlds」，看完就能搞清楚。但本篇會特別聚焦在AR與MR的差異上，相信只要引用上文中的這張圖就很清楚（見下圖），在此也做MR的簡單定義如下：

「MR技術就是更具有即時定位與地圖構建技術，並且可以進行3D即時運算做相對應的改變，也更具有擬真的虛實整合效果。」

也因此MR：Mixed Reality 在強調虛實整合技術的應用上也被稱為MR: Merged Reality，像是「VR vs AR vs MR: What Is the Difference between the Technologies?」這篇文章中所提的。

　　上面所舉列的報導都是最近兩個月內發表的內容，基本上，數位科技日新月異，真的必須時時更新。但畢竟許多虛實整合技術的應用都是根據以往AR的基礎而來的。也就是因為如此，在這個介紹「Mr Darcy +」的分享內容，才會特別強調「MR如何引導AR」。

　　其實AR的應用早於MR甚至VR很久，AR的使用技術與觀念也因著新科技發展，特別是「空間偵測」、「即時運算」、「行動裝置」、「頭戴式顯示器」等技術的發展，才使數位化的虛實整合有了全新的面貌，也才會有所謂MR的出現，相對的，而AR的下一階段的應用，也勢必仰賴具有「空間偵測」功能的MR。下面這張圖要說明的是「Metaio AR」這款具有圖形化介面的簡易AR製作軟體，在被Apple 併購前之最後版本的功能介面。不妨仔細看一下，這張圖上共顯示Metaio AR的兩大基本功能，那就是掃描偵測（Tracking）以及呈像來源（Resource），而這些可以說幾乎是AR所能做的事。簡單說明如下：

●Metaio的掃瞄偵測（Tracking）方式：見下圖中的左下區塊。AR必須先進行掃描，才能據以呈像。Metaio的偵測方式自左而右包括「圖像辨識」、「3D物件辨識」、「環境空間辨識」、「臉部辨識」、「圖標辨識」等掃描技術。能支援各種擴增資訊的集成了。

●Metaio的呈現來源（Resource）類別：見下圖中的右上區塊。Metaio AR可以呈現的「擴增內容」自上排左邊起說明，包括「3D物件」、「圖片」、「聲音」、「影片」、「全螢幕影片」、「Youtube連結」、「按鍵」、「網址鏈結」、「Metaio官方平台」、「Facebook」、「Google Plus」、「Twitter」、「行事曆」、「360度影片」、「文字」，其他在圖上的還包括「嵌入檔」、「遊戲」、「貼圖」等等。目前最新的AR與MR運用，其實也不脫這些「擴增內容」。

　　而後來在AR技術上所發展的，能與實體空間資料（即時定位與地圖構建）進行數位互動的MR，是更具有擬真效果的虛實互動技術，且在「Mr Darcy +」的說明中強調「MR如何引導AR」，也是預期MR能為展示科技帶來更多可能性，當然，與實體空間的擬真連結很重要，因為與實體空間互動的擬真度是與沈浸感高低成正比的。

　　最近MR的相關發展當然很多也很迅速，但主要的還是下麵這四款，如果不是對這些虛實互動科技不是很清楚的，可以點擊上面的連結去查看：

●Windows的Hololens：這是微軟的一款MR頭戴式顯示器，不需外接電腦，可獨立使用，採用SLAM（即時定位與地圖構建）技術、即時3D運算技術，是針對行動化虛實整合需求提出的設備。（可參考影片）

●Google的 Project Tango的技術與應用（僅有Lenovo Phab 2 Pro與Asus  Zenphone AR等兩款搭載位置探測和動作追蹤雙鏡頭的手機可以使用，此技術也使空間描述檔ADF: Area Discription File，可以使用裝置預先掃描偵測空間數據，如下圖。）（可參考影片）

●Apple的ARKit（搭載Apple  iOS11的裝置均可使用，不需使用如Project Tango那種位置探測和動作追蹤雙鏡頭。可參考影片：10 Insane things created with Apple ARKit! iOS11）（看更多，請參考此連結：100 Best Apple ARKit Videos）

●Google的ARCore（目前僅有Google’s Pixel, Pixel XL, Pixel 2 and Pixel 2 XL; Samsung’s Galaxy S8, S8+, Note8, S7 and S7 edge; LGE’s V30 and V30+ (Android O only);ASUS’s Zenfone AR等手機可以使用，不需使用如Project Tango那種位置探測和動作追蹤雙鏡頭。而且Google 已正式宣佈以此技術與應用去取代前面提到的「Google Project Tango」 ，可參考影片：Google's ARCore is the answer to Apple’s ARKit）。（看更多，請參考此連結：100 Best Google ARCore Videos）

（本人以Project Tango手機實際至「鶯歌陶瓷博物館展廳」掃瞄運算所得之的3D空間檔。）

　　以上在「Mr Darcy +」的命題下，談到了對於具有即時定位與地圖構建技術的MR在展示科技應用上的期待。所以就針對相關展示科技應用，分享一些心得與資料。