遠程現(xiàn)實，下一個萬億美金的方向
-
2021-06-08 06:08:54 -
光子晶體科技
文章轉(zhuǎn)載自Charlie Fink，負責《福布斯》VR、AR和新媒體
編者按：Telepresence中文直譯為“臨場感“、“遠程呈現(xiàn)”，實際上考慮到這個方向巨大的應用前景，它應該有一個更恰當?shù)闹形姆g。和虛擬現(xiàn)實、增強現(xiàn)實相對，我覺得應該翻譯成“遠程現(xiàn)實“更加合適。Telepresence的首次使用者是"人工智能之父"馬文-明斯基(Marvin LeeMinsky)，他是"虛擬現(xiàn)實"(virtual reality)的倡導者。早在20世紀60年代,明斯基就自己造了個名詞,叫telepresence,直譯應為"遙遠的存在"或"遠距離介入",是把人遠程虛擬傳輸?shù)搅硗庖粋€地方，和另外一個地方的現(xiàn)實交互。我們翻譯了這篇福布斯的綜述性文章。
我們決定找出微軟所說的話是否正確：遠程體積遠程現(xiàn)實和協(xié)作能夠并且將比人們想象的要早完成，盡管存在明顯的技術障礙，但它將成為增強和虛擬現(xiàn)實的殺手級應用。
回顧歷史，個人計算機花了大約15年的時間才達到拐點并成為每個人都必須擁有的消費產(chǎn)品。起初，大多數(shù)人首先使用的殺手級應用程序電子郵件似乎并沒有那么革命性。公司外幾乎沒有人在使用它。尚未出現(xiàn)網(wǎng)絡效應，即當更多的人使用服務時服務變得更有價值的現(xiàn)象。新技術總是在企業(yè)出現(xiàn)之前就滲透到企業(yè)中。人們開始使用個人電子郵件地址獲得Internet在線服務后，便使PC成為了每個人都必須在家中使用的東西。電話是另一個很好的例子。得到的人越多，必須擁有的人就越多。
同樣，消息傳遞和社交媒體是智能手機的殺手級應用。不論技術將我們帶到何方，我們與他人聯(lián)系的需求都會跟隨我們。當新技術使我們已經(jīng)在做的事情變得更好，更便宜，更快時，它就會成功。自然而然地，遠程現(xiàn)實同樣應該成為AR和VR的殺手級應用程序之一。微軟研究院2016年全息通訊實驗的視頻表明，微軟必須在內(nèi)部進行一段時間的研究，甚至可能在全息透鏡本身發(fā)布之前就已經(jīng)開始。
遠程現(xiàn)實（意味著以電子方式出現(xiàn)在其他地方）并不是一個新主意。結(jié)果，該術語描述了多種虛擬存在方式。它分為六種主要類型：
1）2D視頻會議系統(tǒng)。這些已經(jīng)變得非常復雜，并且包括眼動跟蹤功能，以幫助仍在監(jiān)視器上看到的同事創(chuàng)建狀態(tài)。思科的Spark系統(tǒng)主導著價值十億美元的電話會議行業(yè)。
2）機器人遠程現(xiàn)實。描述具有駕駛員視野的任何遠程操作車輛，例如遠程水下航行器（ROV）和無人飛行器（UAV）或RPA（遠程駕駛飛機）。NASA一直夢想著實現(xiàn)真正的實時機器人遠程現(xiàn)實，事實上，這是他們在80年代進行VR研究的最初目的之一。但是，由于信號從地球傳播到火星并返回的時間滯后，因此NASA科學家無法直接對像好奇號火星漫游者這樣的機器人探測器進行遙控操作。但是，在火星軌道上運行的航天器上的宇航員可能有能力。
3）遠程專家。他們使用AR看到您所看到的內(nèi)容，盡管看不到您。他們甚至可以利用您與他們共享的實時Feed，與您視野中的真實對象進行實時交互。遠程專家將低技能的員工轉(zhuǎn)變?yōu)楦呒寄艿膯T工。
4）VR遠程現(xiàn)實。這使我們可以共享一個虛擬世界，例如Oculus Rooms或AltSpace VR，其中我們以化身來表示。今天，大多數(shù)化身都像卡通一樣，但是他們很快將能夠使用手機上拍攝的3D體積捕獲來精確地捕捉皮膚化身。Sansar和High Fidelity引入的口型同步（更精確地是實時的口型動畫）和眼神接觸已經(jīng)使您感覺非常非常的真實。
5）AR遠程現(xiàn)實。這允許兩個或多個遠程人員在同一個房間中進行容積顯示，微軟將其稱為全息通訊，因為它使用了他們的全息透鏡。令人信服地證明了這一點，現(xiàn)在公司正在尋求將該技術帶入商務會議。但是，并不是所有解決此問題的技術和實踐問題。多家公司正在研究可能破壞思科主導的電話會議業(yè)務的解決方案。思科本身最近向Spark添加了VR協(xié)作功能。
6）真正的全息（肉眼可見）的遠程現(xiàn)實，如《星球大戰(zhàn)》的絕地議會所說明，如下圖所示。今天，可以使用全息投影，反射鏡和不可見的投影表面來完成這種獨立的體積全息照相。在非常特定的情況下，此方法效果很好。參與者絕不會相互感知，但是對于模擬之外的人來說，這是完全真實的。他們會在現(xiàn)實生活中的偏遠地區(qū)看到兩個（或更多）人，在沒有耳機的情況下在共享的3D空間中進行互動。但是，玩家之間無法看到對方，他們會在監(jiān)視器上看向反射。在觀眾中，您永遠不會知道。
像《星球大戰(zhàn)》一樣，史蒂文·斯皮爾伯格（Steven Speilberg）的電影《少數(shù)派報告》（Minority Report）也具有增強現(xiàn)實功能，在該場景中，數(shù)據(jù)漂浮在湯姆·克魯斯（Tom Cruise）的前面，而肉眼看不見投影表面，他可以用手操作。僅當Cruise的角色具有接觸或某種可以直接將圖像發(fā)送到他的大腦的神經(jīng)輸入時，這才有可能。否則，只有在透明的投影面的情況下，投影全息圖才能用肉眼看到。
全息透鏡和其他AR HMD配備了內(nèi)置攝像頭。但是，為了創(chuàng)建遠程現(xiàn)實應用，需要一個可以面對您并拍攝您的視頻的內(nèi)置攝像頭。
我在他的工作室里拜訪了DVE Telepresence的聯(lián)合創(chuàng)始人兼首席執(zhí)行官Steve McNelley。DVE一直在能源部和世界上一些最大的公司中工作，以提供他所謂的“唯一真正的遠程現(xiàn)實”。他解釋說，這需要三件事：“絕對的照片寫實，與眼睛接觸的完美相機對齊以及無需眼鏡即可在太空中顯示的增強現(xiàn)實圖像（全息圖）。” DVE有一個基于講臺的系統(tǒng)，稱為“ 4Dp遠程現(xiàn)實講臺”，可在便攜式解決方案中完成所有這些工作。講臺后面的揚聲器被捕獲在偏遠的位置（例如教室或個人辦公室），并實時投影到不透明的半透明表面上，并由聽眾在房間中間看到。揚聲器被投影到表面上，并且攝像機的位置保持與觀眾的目光接觸。
全息圖是哪一個？史蒂夫·麥克內(nèi)利
DVE已展示并申請了許多不同的技術并獲得了專利，這些技術可通過OLED，LED，直接投影和幻像變體來實現(xiàn)這種全息體驗，這種幻像可實現(xiàn)自然的臨場感，稱為“胡椒鬼”，由舞臺藝術家John Henry Pepper在1862年首次演示。通過將物體反射到半透明的表面（如玻璃板）上而產(chǎn)生“鬼影”，因此圖像似乎漂浮在我們的面前。如今，DVE進行了改進，以創(chuàng)造出看起來像真正在房間里的明亮，立體的人，如上圖所示，我似乎與DVE的3D內(nèi)容創(chuàng)建者Zach McNelley在同一個房間里，全息圖。這兩個要求是完美的黑色背景和半透明的投影表面。
Pepper的Ghost最著名地部署在迪斯尼樂園的“鬼屋”中，創(chuàng)造出幻彩晚宴和搭便車的幻覺。實際上，聯(lián)想的《星球大戰(zhàn)絕地挑戰(zhàn)》 VR耳機使用類似的方法將圖像從鏡子反射到透明的投影表面上，從而創(chuàng)造出漂浮在我們面前的3D角色的幻覺。
如何制作鬼魂-胡椒鬼影劇院圖書館
微軟一直在為全息透鏡提倡遠程現(xiàn)實和遠程協(xié)作的另一種愿景，他們稱之為全息通訊。最初是在微軟 Research的此視頻中進行演示的，該視頻允許遠程位置的參與者（實際上是在大廳下）在彼此的物理現(xiàn)實中展示。每個房間放置了多個3D攝像機。這些輸入被饋送到本地計算機，該計算機將壓縮的3D圖像廣播到用戶的全息透鏡。該視頻發(fā)布于2016年11月，這意味著當2016年3月發(fā)布全息透鏡時，MS工程師必須已經(jīng)在進行全息通訊。
微軟 Research的Room2Room是一個真人大小的遠程現(xiàn)實系統(tǒng)，它使用投影增強現(xiàn)實技術來實現(xiàn)兩個遠程參與者之間的共同演示交互，而無需使用全息透鏡。該解決方案通過使用3D攝像機對本地用戶執(zhí)行3D捕獲，然后以與實物大小一樣的大小將副本復制到遠程空間中，而不是使用全息透鏡，從而重新創(chuàng)建了面對面的對話體驗。這會造成對遠程人員在本地空間中的物理狀態(tài)的幻想，以及對口頭和非口頭暗示（例如凝視，指向）的共同理解，就像他們在那里一樣。
當沒有中間投影表面時，就會發(fā)生這種情況，出于研究目的，工程師們避開了靈活性和智能。
2017年初，微軟斥資數(shù)百萬美元制作了一部視頻，描繪了全息遠程現(xiàn)實的未來（或一個潛在的未來），名為“ Penny Walks in ak a.a. Envisioning the Future with the 全息透鏡”。
“一分錢”是一款出色的科幻視頻制作的遠程呈現(xiàn)用例的電視劇，由零售設計師（Penny）及其亞洲客戶主演。不僅有遠程呈現(xiàn)存在?？蛻暨€擁有一個浮動的，可見的，看似有感情的數(shù)字助理，這是Cortana的幻想后代之一。撇開Cortana以及演示中模擬用例的微妙但雄心勃勃的規(guī)模，這并不是瘋狂，遙不可及或不可能的。但是請記住網(wǎng)絡效果。它需要規(guī)模才能達到神奇的拐點，在那里，房間會被3D相機實時掃描，等待Penny和我們其他人。
微軟的研究團隊與幾所大學，尤其是波蘭的華沙理工大學一起，繼續(xù)探索全息通訊。MarekKowalski和Jacek Naruniec在那里開發(fā)了Holopresence應用程序LiveScan3D。
LiveScan3D通過同時使用多個Kinect v2深度傳感器進行實時3D重建，以產(chǎn)生彩色點云，并壓縮3D視頻輸入。每個Kinect v2傳感器都連接到單獨的計算機。這些計算機中的每一個都連接到服務器，該服務器允許用戶執(zhí)行校準，過濾，同步幀捕獲，并可視化實時顯示在遠程位置的已采集點云。與學者的角色一致，Kowalski和Naruniec在https://github.com/MarekKowalski/LiveScan3D上共享了LiveScan3D作為源代碼，允許其他人繼續(xù)其工作。
私有公司在使用VR和AR的3D立體會議中也取得了令人矚目的進展，特別是Valorem，其系統(tǒng)使歐洲，印度和北美的多個參與者可以實時地立體呈現(xiàn)在用戶的物理辦公室中。Mimesys和Meetingroom.io使用VR在共享的虛擬世界中創(chuàng)建立體感。
RenéSchulte領導Valorem的HoloBeam開發(fā)工作，其總部位于德國德累斯頓。他描述了公司獨特的3D實時會議系統(tǒng)如何工作，以及它如何改變他在德國，西雅圖和印度的跨洲團隊之間的協(xié)作。
“這是使用深度相機以高清實時捕獲的，以收集由顏色和深度信息組成的3D立體視頻點云數(shù)據(jù)。然后，點云數(shù)據(jù)通過自定義的WebRTC流在Internet上流式傳輸或“成束”。全息流由應用程序解碼并實時3D渲染，提供了VR和混合現(xiàn)實設備（例如全息透鏡）上發(fā)件人的形象令人震驚的良好容積表示，而且其他設備也通過我們的跨平臺開發(fā)方法啟用。它通過正常的互聯(lián)網(wǎng)連接運行，并且需要3-5 Mbit / s的比特率，甚至由于我們的自適應深度編碼和流傳輸，其工作速率甚至低于1 Mbit [CF注意：自適應流是Netflix為適應您的連接速度所做的工作。它是實時的，沒有延遲，甚至可以在各方（例如在公司網(wǎng)絡設置中）位于防火墻后面的情況下使用。無需特殊的連接或設置。通過路由機制建立連接以實現(xiàn)最佳傳輸速率的對等連接。”
全息光束利用正常帶寬的標準網(wǎng)際網(wǎng)路將容量會議帶入生活
HoloBeam系統(tǒng)無法提供我們在MS Holoportation視頻中看到的那種分辨率，但是現(xiàn)在我們被告知2016年的視頻只是本地概念驗證，而不是在真實辦公室中設置的內(nèi)容。相比之下，今天的Valorem系統(tǒng)（12/17）使用現(xiàn)成的硬件通過簡單的設置即可生成3D立體視頻。
該系統(tǒng)可以具有不同數(shù)量的“灰塵假象”（掉落），具體取決于自適應流必須降低帶寬的數(shù)量。結(jié)果，遠程參與者看起來像是星際迷航運輸車事故的受害者：那里只有80％。但是，我與之交談的每個人，以及我研究此故事所經(jīng)歷的一切，都證明80％足以創(chuàng)造出深刻而引人注目的存在。
全息點云在未來將通過改進獲得更大的分辨率，這不僅會隨著深度相機分辨率和帶寬的提高而提高，而且隨著HoloPortation產(chǎn)品的發(fā)展，算法會在解壓縮的視頻文件中填充缺失的像素，以減少廣播信號丟失或灰塵。
舒爾特看到了地平線上燦爛的事物。在未來的辦公室中，多個深度感應攝像頭可以將其與世界各地的偏遠地區(qū)真正融合在一起，或者我們甚至可以使用我們的手機，該手機開始在消費產(chǎn)品中集成深度映射傳感器和雙鏡頭。下一個敲門的人可能是中國人。Valorem預計將于2018年初與客戶進行更廣泛的試驗。
巴黎的Mimesys和都柏林的Meetingroom.io是采用不同方法的初創(chuàng)公司，它們使用VR作為共享協(xié)作會議空間的基礎，其中可以包括PC和Smartphone等多種設備上的用戶。這些系統(tǒng)的核心是將遠程參與者的大量捕獲帶入虛擬房間，就像我們今天在社交VR中看到的那樣，例如AltSpace和Oculus Rooms。Mimesys允許用戶使用任何設備（包括HoloLens，平板電腦和智能手機）登錄其虛擬會議。
Mimesys Connect以共享的虛擬會議室為中心，該會議室允許參與者導入和共享3D對象，觀看視頻，以及執(zhí)行在實際商務會議中可以做的所有事情。但是，與消費者的社交空間不同，參與者不是化身，而是數(shù)量龐大的參與者。這種區(qū)別非常重要。
使用iPad iOs 11 ARKit通過Mimesys Connect訪問會議
這是一個視頻，準確地反映了我在Vive上使用Mimesys Connect的體驗。我和創(chuàng)始人兼首席執(zhí)行官Remi Rousseau看到了彼此的真實頭像（戴著我們的Vive HMD），并且能夠傳遞和操縱3D和2D對象。與他在一起，在場的感覺非同尋常。
Rousseau認為以VR為中心的方法是最靈活和易于使用的。“ HoloLens Teleportation不允許用戶使用Mimesys Connect共享和協(xié)作方式。例如，我們無法在共享白板上進行協(xié)作。”我詢問了Russeau的進入壁壘，以及他的小型初創(chuàng)企業(yè)（可能與十幾個試點客戶一起使用）如何抵御AltSpace和Oculus Rooms等低成本或免費競爭對手的這種VR方法。
他說：“存在潛在的風險，尤其是在Facebook空間方面，這就是為什么我們今天將重點放在B2B而不是B2C上。話雖如此，溝通空間還是很大的。如今，WhatsApp，Messenger，視頻群聊，面對面時間等平臺共存，并且對于VR和AR通信來說可能是相同的。不同的受眾會有不同的體驗。”
Meetingroom.io的創(chuàng)始人兼首席執(zhí)行官喬尼·科斯格羅夫（Jonny Cosgrove）補充說：“我們?nèi)蕴幱谄鸩诫A段，但可移植性在這里改變了游戲規(guī)則。高級管理人員和銷售總監(jiān)可以會見和管理銷售人員，公司可以與更多的客戶互動。”
思科視頻技術集團現(xiàn)任高級副總裁OJ Winge在他的職業(yè)生涯的大部分時間里都在以一種或多種形式使用網(wǎng)真。他說：“思科的Spark系統(tǒng)已經(jīng)提供了新的豐富體驗。目前，對于體積級的遠程呈現(xiàn)，質(zhì)量還不夠好，我們認為這與Spark有所不同。互補，不同，但不能替代。對于正常的會議，該技術必須透明且自然。”他對Spark的地位充滿信心，并計劃發(fā)展業(yè)務。
遠程現(xiàn)實將非常緩慢地發(fā)生，然后同時發(fā)生，這不僅極大地破壞了會議業(yè)務，而且極大地破壞了業(yè)務管理和協(xié)作本身，更不用說數(shù)十億美元的商務旅行類別了。
我即將出版的有關AR和VR的書的所有關鍵前提都存在于這個故事中。我們始終高估當前，低估未來。產(chǎn)品之所以成功，是因為它們使我們已經(jīng)在做的更好。殺手級應用是其他人。
關鍵標簽：AR VR 遠程現(xiàn)實
