在萬物互聯的5G時代,媒體智能化已經成為不可阻擋的趨勢和發展方向。人工智能技術與媒體如何融合?智能化會帶來哪些媒體倫理問題?進入智能時代,媒體如何做好社會的“瞭望者”?新浪新聞、封面新聞聯合推出《未來媒體訪談》節目智能媒體專題,探討與智能媒體相關的問題。
童欣,現任微軟亞洲研究院首席研究員,網絡圖形組研究主管。童欣博士主要的研究方向為計算機圖形學和計算機視覺。他于1993年畢業于浙江大學計算機系,獲工學學士學位;1996年獲浙江大學計算機系碩士學位;1999年獲清華大學計算機系博士學位,同年加入微軟亞洲研究院。
以下為訪談實錄:
主持人:Hello大家好,這里是由新浪新聞封面新聞共同推出的未來媒體訪談節目,細致入微的表情變化,自然的肌膚紋理沒有一絲一毫的違和感。如果我不告訴您,您能看得出剛剛這幾位參與者其實他們不在一個辦公環境嗎?這就是由微軟亞洲研究院研究的其中項目之一——3D視頻會議系統,今天我們也非常榮幸的邀請到了微軟亞洲研究院首席研究員童欣博士來給我們聊一聊,在線會議的未來——3D視頻會議系統。童老師好!
童欣:主持人好。
主持人:剛剛我們從小片里比較粗略的了解到了,3D視頻會議系統它到底這個作用是什么,那么我們這里有一個很尖銳的問題了,在線視頻會議其實已經不是一個新鮮的事物了,很多工作軟件都帶有在線視頻會議的系統,那么我們想問的是微軟的3D視頻會議系統和剛剛我提到的這些有什么樣的區別?
童欣:謝謝您,您問了一個特別好的問題,我想您看到的所有的視頻會議無處不在的事情,也告訴我們說,大家有很強的在遠程不同的人之間進行會議進行溝通的需求。
那么我想大家看到目前的會議系統的時候,一方面它給大家提供了很多便利,但如果我們去和我們兩個人或者多個人真正在同一個環境中,比如我們現在在一個房間中開會的時候,大家還能看到一些區別,比如最簡單的今天我們兩個人坐在這里,我們可以有很自然的眼神交流對吧?我可以看到你很真實的所有身體的動作等等這些東西。
那么在多個人的交流環境中,大家如何切換話題,誰應該講話,在一個自然的環境中共同的環境中,我們都很容易做到。但大家如果想一想,在遠程的會議系統中或者視頻會議系統中,目前都是非常難以做到的,那我們做這個3D會議系統,我們最終想達到的一個目標就是希望我們創建一個這樣的計算機環境,讓大家在做會議的時候,感覺自己就像在同一個環境中開會一樣自然,同時為了達到這樣一個目標,我們也希望我們的設備足夠的簡單,然后通過一套設備的設置能夠實現不同的會議場景,比如像我們這樣的對談多人的會議,或者是大家一起工作的時候,我們叫做雙邊的一個大家一邊看著眼前的屏幕一邊交互的這樣一個場景。
主持人:您跟我解釋了以后我大概就明白了,比如說我們電話會議是1.0版本,普通的在線視頻會議是2.0版本,那么微軟研究出來的3D在線視頻就是3.0版本,如果我們達到了3.0版本的話,這個門檻是不是很高?
童欣:
謝謝,我覺得可以叫做一個3.0版本,但同時就是說要達到一個我們說遠程的非常逼真的體現這個人的所有的外觀動作這樣一件事情,其實一直是計算機圖形學和計算機視覺的一個挑戰。
為了做到這件事情,我們有三個需求,第一個需求叫我們講到的我們需要高保真,因為我們人在日常生活中和人交互的時候和人交流的時候,我們對人臉上的所有細微的表情,他的動作什么是真什么是假,我們有非常高的嚴苛的標準在我們的意識里,這是第一件事情,所以我們要必須做到能夠再現他所有細微的表情動作等等這些事情。
第二件事情我們講到了我們是一個實時會議系統,所以所有的東西我們希望能夠達到實時的需求,所有的東西必須實時的呈現給對方,對方的反饋實時呈現給我,我們才能做很好的溝通,這是第二件事情。第三件事情我們講到了,為了實現這個目標,我們也希望我們所有的設備和捕捉手段足夠的便宜,足夠的方便,那么可以說在三個需求要同時達到,一直是一件非常難的事情。
在過去幾十年的圖形學和視覺的研究中,大家研發了很多的技術,比如說我們在影視業中,通過非實時的大量是手工的手段,我們已經實現了可以說和真人沒有差別的這樣一個繪制,對吧?但是它沒法實時,在游戲中我們可以做到實時,但是這個形象還達不到完全逼真對吧?在視覺中我們有一些捕捉手段,通過一些其他手段,我們可以捕捉非常逼真的人,甚至做到實時,但是它的捕捉的整個設施是非常昂貴的,所以現在我們就需要有這些三個方面同時做了突破之后,我們才能實現現在的這樣一個會議的成績。
主持人:我曾經在2012年看過一個報道,當時微軟就說我們已經開始開發3D視頻會議的系統,那么現在是2022年10年磨一劍,那么像您說的基于當時對于圖形圖像的研究,還沒有辦法實現這樣的一個設想,那么所以 VirtualCube是如何實現的?
童欣:就像您剛才講到的一樣,3D會議視頻系統實際上在視頻會議系統剛剛開始的時候,不論是心理學家還是我們的計算機視覺計算機圖形學研究人員,就一直以此為目標,這也是微軟一直在這方面投入了很多的精力做研究,包括您看到的2012年的這個Viewport這個系統,還有我們后來做的Holoportation都是朝著這個目標前進的,那么到現在為止,我們為了做現在這個系統我們和已有的系統有什么樣的突破呢?在我們的這種系統中,我們有兩個關鍵的技術,我們把它叫做V-Cube Assembly就是組合和一個V-Cube View的算法,一個繪制的算法。
我們先來講第一件事情,我們剛才講到了說我們希望每一個人在一個標準設置中,我們能夠實現所有不同的會議場景,這里面一個關鍵技術,我們意識到說我們需要把每一個人他的所在的空間位置和一個虛擬環境的空間位置做到一個很好的映射,有了這個映射之后,我們就意識到我們可以把空間中不同地方的人通過拍攝的視頻三維視頻映射到一個共享的虛擬空間中,那么他們在虛擬空間中的互相的位置關系和我們真實我們想模擬的物理位置關系是完全一致的。
在這個情況下,我們通過不同的映射的改變,我們就可以實現不同的會議場景,這是一個關鍵技術。在這個關鍵技術下有了以后,那么可以想象到為了我們實現不同的會議者互相之間的溝通,我們就需要從不同的視角讓每一個人看這個人都非常的逼真。
這里我們實現需要一個叫3D View的技術。就是說我要顯示這個視頻,能夠自由的切換我們的視點,從各個視點看起來都是非常逼真的。在這個方面我們要研發的技術,我們利用了傳統的一些算法的基礎思想,結合我們目前最先進的計算機視覺的技術,以及我們的深度學習的技術一起工作,那么實現了這樣一個實時的算法,和已有的算法相比,在保證實時的前提下,很大程度上提高了整個繪制質量,那么實現了現在的效果。
主持人:在這10年計算機圖形學這個領域,它還有哪些研究發展幫助了這一設想的實現呢?
童欣:
我們可以說在過去的幾年中,我們把進展我們叫做一個智能圖形學的發展,什么意思?就是說在傳統中我們已經有了一些手段,這些手段通過我們的一些軟件,結合藝術家大量的手工工作,我們是可以產生高質量內容的但在過去的幾年中我們也參與其中的,我把它叫做一個智能圖形學的研發的趨勢,是說我們結合現在大家在硬件上做的大量的設備,比如說我們的普通的彩色攝像頭,我們的深度攝像頭這樣的設備,結合我們大量的已有的大量的高質量的數據,和我們的一些深度學習或者機器學習的算法一起工作,那么方便每一個普通的用戶能夠產生大量的高質量的內容,自動的產生低成本的產生。
這些技術的發展實際上或多或少都對我們整個最后VirtualCube所用到的技術有所助益。
主持人:3D在線視頻會議系統除了讓我們有一種在線的交流感,有一種我們在場一對一交流的這種沉浸感,除了這樣的應用還能應用在哪些方面?
童欣:其實我覺得交流這個事情或者叫會議這個事情呢,實際上是一個無所不在的場景,如果大家有興趣的話,你用任何的搜索引擎在互聯網上去搜索會議的圖片,大家會發現一個非常有趣的現象,就是你會找到各種各樣的場景,遠遠超出你的想象,除了大家正襟危坐坐在會議室的場景,那么包括兩個人坐在屋子里一邊喝咖啡一邊聊天,它也是一種會議的場景。
所以我覺得可能對我們VirtualCube來講,一個最重要的應用來說,就是提供給大家一個我們叫做泛在的或者無所不在的非常自然的一個互相溝通遠程溝通的場景,這是我們的一個目標。那么再往后面一步說,為了達到這個目標所研發的技術,比如我們的捕捉設備的技術,包括我們繪制的技術,我相信對其他的內容生產,比如說我們的視頻產生,高質量逼真的這個人,不論是用到影視中還是用在游戲中,我相信這個對他們都會有所助益,將來也都會推動這些技術和這些應用的發展。
主持人:我們通常說一個設備被廣泛的應用,甚至普及的一個前提就是說成本的控制。那么我們剛剛講到3D視頻會議系統,給我們帶來一對一的這種現場交流的沉浸感,達到這樣的效果,是不是它的成本是很昂貴的?
童欣:成本我們可以從兩方面說,一方面我們在設計VirtualCube系統中,我們很注意到的一件事情,就是我們希望在達到效果的同時,探索可能性的同時,盡量的采用我們叫做一個商用的硬件,什么意思?這樣英文我們叫做off-the-shelf。所有這些硬件不是定制的,而是從市場上你就可以買到的。
所以在我們現在的VirtualCube的系統中,我們在捕捉方面我們用了6個微軟的深度攝像頭,Azure Kinect攝像頭,然后同時我們在整個計算上,我們用了現在比較先進的GPU來做這件事情。
那么我們從另一方面講,目前的所有這些設施,大家可以說要用到馬上用到每個人的普通的環境中,還是相對來說成本是較高的,但是它的好處是所有這些東西都是可以量產的,那么隨著硬件生產工藝的進步,這個普及,那我相信這個成本呢會得到很大的下降,未來這條路通向說每個人都能使用的,我覺得這條路是可以預見到的。
主持人:我們微軟的創始人比爾蓋茨先生曾經公開的表示,因為疫情的發展加上現在通信設備的發展,我們有可能以后會改變工作的模式,也許有一天我們都可以到元宇宙里去開會了。我知道任何事物都有它的兩面性,有它的優勢就有它的劣勢。那么我們3D視頻會議系統有什么局限性,也可以說它的短板是什么?
童欣:你問了一個特別好的問題,也是一個可以是一個尖銳性的問題。我們的理解是這樣的就是說實際上包括像您剛才講的疫情也好,什么也好,或者大家的需求也好,會帶來一個虛擬辦公環境或者遠程辦公的一個流行或者變得更加重要。
但是我們的理解其實它并不是一個替代的關系,換句話說它并不會替代以前這種物理環境中大家的工作,因為還是在一個物理環境中,我們的人的很多的交流,他需要見到真實的人。它需要有這樣一個工作環境,它的很多便利我覺得是無可替代的。所以我們的理解是說到最后實際上VirtualCube也好,還是其他技術也好,最終都是給大家提供了更多的可能性。那么還有一些環境中,比如說我們開著車的時候,這些環境中的時候,那么我們最后認為我們最后會實現一個我們叫做混合辦公環境,就是說所有的技術手段,我們給人提供所有的可能性,那么大家會根據自己所在的情境,選擇一個最有效的方法和別人做最有效的交流。
就像您剛才講到的目前的VirtualCube,我們專注的是提供一個高質量的沉浸式的參與感很強的這樣體驗。但為了實現這樣的一個體驗,你對設備你對這個環境可能就有一定的要求,那就像我剛才講到的,如果一個人在開著車,怎么實現一樣的環境對吧?特別是我們現在需要一個很大的屏幕,如果你就是一個手機,我可能講我們怎么努力,可能都沒法實現一個沉浸式的眼神交流這樣一個體驗。
這個是它的一個限制,但我覺得任何一個技術這樣的限制可能都是存在的,最終的目標是說如何把這些技術融合在一起,提供給一個大家,我們叫做無差別的或者具有包容性的解決方案來實現最有效的溝通,我覺得這可能是我們最終的一個目標。
主持人:
無論是3D的視頻會議,還是這種各種跨界空間的交互辦公,可以看出來我們微軟一直在試圖打破這種真實和虛擬的技術,再追求一個關鍵的元素,那就是沉浸感,我們不妨天馬行空的您幫我想一想,除了辦公方面的應用,還有哪些這些智能媒體大顯身手的地方?
童欣:其實我覺得辦公是一個非常重要的事情,但是就像我們講的一個人生活我們可以分成兩部分,一部分是辦公,一部分是普通的生活。
比如說我們兩個老人,他們生活在兩個城市中,由于各種各樣的原因,他們沒法互相去旅行了,那么我們也希望用這樣的一個系統給他們提供一個沉浸式的非常逼真的體驗。我相信對他們個人的生活質量的提高,幸福感的提高都是非常有用的。
那么同時這些技術的發展,大家可以看到在我們的日常的娛樂中,其他的媒體中包括新聞報道中。比如說有一天也許我們真的可以用遠程的方式你就可以采訪我,但可能我們沒辦法大家坐在一個屋子里,這樣我相信對其他的很多的應用,很多的我們的媒體也好,或者對生活也好,都能起到很大的作用。
主持人:我們上面講到的這些三D視頻會議系統都是在一個顯示設備上呈現出來的,比如說大屏幕,未來計算機圖形學能否結合虛擬和現實的技術,將三D這個圖像直接投射在我們真實的生活里,而不僅僅是屏幕上。
童欣:對,影響到這樣是跟顯示技術的發展相關的,那么可以說顯示技術,如果我們把按照顯示尺寸或者方式,我們可以分成兩種,一種就像我們現在用的大屏幕的這樣的東西,它更多的是尺寸比較大,大家的好處就是大家不需要戴任何的眼鏡。
還有另外一個大家知道最近大家研究非常熱的,我們叫做增強現實的技術,那么微軟也有產品,比如我們的HoloLens這樣的一個產品,它通過大家戴一個眼鏡,可以把這個影像呈現在大家眼前,它的好處是隨著人的走動,這個影像可以跟著人去做各種移動。
那么物理的屏幕的缺陷是你的位置比較固定,但是另外一方面你戴著眼鏡的缺陷是什么?是說眼鏡帶著很不方便,還有很多的限制。那么其實即使在大屏幕的呈現中,大家有投影的技術或者其他的技術來做這些事情,我的理解就是最后這些技術可能都會并存,融合在一起,最后給大家提供一個無縫的虛擬和現實完全融合的這樣一個場景或者體驗。
那就像我們現在新的一代人,可能他們使用iPad使用類似這樣電子產品已經習以為常了,我的一個夢想是也許過10年下一代人對他們來說不太區分什么是現實的,什么是虛擬的,在他們來說他們出生那一天起現實和虛擬就是很自然的結合在一起的,這是我們的一個愿景。
主持人:您剛剛提到的智能產品,我們就說現在手機已經是人所必備的一個智能的終端,未來能不能將上述我們提到的這些技術在手機上呈現,比如說我想跟朋友分享一個我剛買的一個小物件,我給他拍一張照片發給他,他就能隨意的拖拽360度的觀看物件。
童欣:這方面的技術其實我們微軟包括我們研究院,包括我們的小組在過去其實都有很多的研究,那么在最近一段時間大家可以看到我們叫做一個NERF或類似的這樣的捕捉的技術,可以說進展非常的快,那么可以說在目前我的感覺就是你可以看到已經有一些比較成熟的或者說比較好的應用或者產品來幫大家做這些事情,就像您講的一樣,我通過捕捉一個360度的視頻,我就可以在里面很自然的實現一些拖拽,看一些物體這樣的東西。
但是在另一方面我們的技術發展目前還有一些限制,比如說我雖然能看到這個物體了,可是我不好操作這個物體,當我把這個物體放在我的家里的時候,我希望它的光照所有體現的效果跟我的家里完全一致,這些方面還有很多的技術有待于大家進一步的提高,把它變得更魯棒(robust)變得更通用,但是另一方面我也相信這些技術很快就會得到成熟,大家很快就能把這些技術用到自己的實際生活中。
主持人:您認為智能媒體和對其起到支撐幫助作用的圖形學未來的發展趨勢是什么?
童欣:
那么從我們角度來看,我覺得未來的圖形的發展,我們把它總結為幾個趨勢,第一個趨勢我把它叫做智能化,智能化什么意思?在過去的二三十年的圖形學的發展中,我們如果和人類做一個類比的話,我說我們終于實現了農業時代,什么意思?我們發明了鋤頭,我們發明了鐮刀,那么藝術家通過學會怎么用鋤頭鐮刀終于能把糧食種出來了,但是普通的人你是種不出來的,那么我們認為智能提供了什么,我們通過一些人工智能的技術,我們可以說實現了一個機械化,那么我們讓普通的人也能通過一些智能的技術,通過簡單的交互就能把他心目中想的東西創作出來,包括您說的看到的東西能夠數字化成一個三維的模型帶到計算機里,這個趨勢我覺得是非常明顯的。在未來幾年中大家能看到很多技術的突破,甚至一些實用的應用產生,我們把它叫做智能化。
第二項我們把它叫做綜合化或者叫集成化。什么意思?就是說你去看很多的東西,除了我們做游戲等等這樣一個三維的形體,它其實不光光有它的三維的幾何或者外觀存在。我們在游戲中我們要和它交互,我們每個人這樣交互,比如說剛才您講到說我掃描了一個物體,我要各個(角度)看,但是對大家來講,我買一個東西除了看我們還有別的需求,比如我想摸一摸它的質感是怎么樣的,對吧?我想和它操作一下對吧?但說明每一個物體除了它的幾何外觀,還有很多的屬性,比如說它的物理學的屬性,它的材質是什么樣的,甚至我想知道它的溫度是暖的還是冷的,對吧?
所以這些屬性其實在圖形學或者其他的學科中,目前都是被單獨處理的,每一個學科每一個領域只負責其中一小塊,那么最后如果你想得到一個統一的計算的表達,滿足所有的需求,那就需要這些學科人坐在一起。那么同時通過各種技術的集成,包括打通各個領域的東西,真正提供一個我們叫做一個物體的全表達,就是它既有,它的幾何屬性、物理屬性、材質屬性、各種屬性坐在一起,這個物體就真正可以做到我們在它里面可以做各種操作了。我把它叫做集成化或綜合化。
那么人工智能的技術其實對綜合化也會推動它的發展,因為它們的人工智能技術大家可以看到deep learning(深度學習)的技術,它提供了一種跨領域的方法論的統一的能力,那么最后一個我們可以叫做泛帶化或者叫做平民化。當這樣兩個技術都有了以后,那么你可以看到以前的時候圖形的技術還有什么的技術,大家覺得是非常離我非常遠對吧?只有專業的人拿到了,然后創造一些電影游戲,我們只是消費者,我們從來不會去創作圖形內容。
我們希望以后什么呢,我們以后希望就是說每一個無論是我們的個人想創作他腦海里想象的東西,還是我們的一個企業,他想用一些圖形學的技術來模擬真實的世界來做一些預測規劃的時候,這些圖形的東西就能變成我們的水電一樣的一個資源或者一種服務無所不在,每個人都可以經過簡單的學習就能使用,能得到服務的反饋,能夠在他日常的生活和他的所有的工業的應用中無所不在的起到它的作用,這是我們對未來的一個期望或者我們的一個愿景。
欄目制片人:智惠群
本期嘉賓:童欣 微軟亞洲研究院首席研究員
免責聲明：市場有風險，選擇需謹慎！此文僅供參考，不作買賣依據。
關鍵詞：
