虛擬現(xiàn)實(shí)科技現(xiàn)在非常火熱，視覺層面的技術(shù)難關(guān)一個(gè)接著一個(gè)的被攻克，但是如果想要徹底實(shí)現(xiàn)沉浸式體驗(yàn)，那么同樣也要在聽覺上實(shí)現(xiàn) 3D 效果。聽覺上的 3D 效果究竟是怎樣的？在看電影，玩游戲的時(shí)候，怎樣的聲音體驗(yàn)才能更加優(yōu)秀的讓我們身臨其境？如今這個(gè)行業(yè)的技術(shù)發(fā)展究竟到了怎樣的階段？本文將統(tǒng)統(tǒng)給你答案。
音頻的新技術(shù)將徹底改變我們未來玩兒游戲，聽音樂，以及看電影的方式。
現(xiàn)在，我無法相信我的耳朵了。我正拿著一個(gè)淺灰色的方塊在我腦袋跟前前后晃動(dòng)。我發(fā)誓！我晃動(dòng)的這個(gè)小方塊里面有聲音傳出來！而且是一種類似于樂器彈奏出來的音樂，就好像是一個(gè)小型喇叭。當(dāng)我拿著這個(gè)小方塊逐漸的靠近我的左耳的時(shí)候，一種粗糙的小提琴聲響瞬間淹沒了我的左耳，但是如果我把這個(gè)小方塊逐漸拿開的時(shí)候，這種聲響似乎隨著距離的拉大逐漸的減弱。
我把這個(gè)方塊放在我的身后，似乎背后突然出現(xiàn)了一個(gè)弦樂四重奏樂團(tuán)。當(dāng)我把這個(gè)方塊拿到我的頭頂上的時(shí)候，急劇尖銳的弦樂聲響使得我的頭皮陣陣發(fā)麻。但你知道嗎？其實(shí)這個(gè)小方塊根本沒有發(fā)出一點(diǎn)聲音。我所聽到的聲音來自于我的耳機(jī)。一旦我把耳機(jī)摘下來，一切的幻覺就全都消失了。那個(gè)方塊就是一個(gè)安安靜靜的普通方塊。
我現(xiàn)在的位置就是在馬里蘭州大學(xué)，科技孵化器大廈的一個(gè)寬敞的房間里，也是目前擁有 8 個(gè)人的科技初創(chuàng)公司 VisiSonics 的辦公地址。正是他們所開發(fā)的軟件徹底擺布了我的大腦，讓我無視掉真正的聲源，掛在我耳朵上的耳機(jī)。那個(gè)我所舉著的灰色方塊其實(shí)連接在另外的一個(gè)設(shè)備上，那個(gè)設(shè)備可以對我所移動(dòng)的方塊進(jìn)行空間位置上的跟蹤。VisiSonics 的 RealSpace 3D 技術(shù)通過跟蹤器上所發(fā)來的空間信息來處理音樂，讓聽者覺得這是從方塊中發(fā)出來的。剛剛我所體驗(yàn)的這個(gè)產(chǎn)品其實(shí)只是對這個(gè)概念的某種展示，說明了軟件現(xiàn)在已經(jīng)從聽覺上具備了欺騙你大腦的本領(lǐng)。在這其中，最為讓我感到驚訝的是它讓我徹底忘記了耳機(jī)的存在，一切都是如此的自然而然，神不知鬼不覺！
這也正是 VisiSonics 所期望達(dá)到的效果。該公司希望在未來成為各大游戲廠商爭相追逐爭搶的音頻引擎提供商，同樣在虛擬現(xiàn)實(shí)和增強(qiáng)現(xiàn)實(shí)領(lǐng)域的聲響部分也能占據(jù)主導(dǎo)地位。事實(shí)上，它已經(jīng)朝著這個(gè)目標(biāo)邁進(jìn)了一大步。Oculus Rift 虛擬現(xiàn)實(shí)頭戴設(shè)備的制造商 Oculus VR 已經(jīng)在去年的 10 月購買了這一項(xiàng) RealSpace 3D 技術(shù)，并且于近期已經(jīng)將其整合到了 Oculus 音頻軟件開發(fā)工具套件中了。如今，VisiSonics 還在和其他公司進(jìn)行談判。公司的創(chuàng)始人之一，同樣也是馬里蘭大學(xué)計(jì)算機(jī)科學(xué)專業(yè)的教授 Ramani Duraiswami 就表示：「所謂最為完美的 3D 音頻技術(shù)，就是在你戴著耳機(jī)的時(shí)候，完全忘記耳機(jī)的存在�！�
但是公司的雄心壯志似乎已經(jīng)超越了游戲以及虛擬現(xiàn)實(shí)。他表示：「我們的最終目標(biāo)是徹底改變?nèi)藗兺ㄟ^耳機(jī)來收聽音樂以及一系列音頻的方式！」
VisiSonics 打造 3d 效果的主要方式
我們當(dāng)然能夠通過自己的能力來在三維空間里面辨識音樂，即便我們的眼睛是閉著的，我們?nèi)匀荒軌蛑赋鰜砺曉词窃谀睦铩Ｎ覀兊拇竽X在辨認(rèn)這些聲音方面非常在行，耳朵就像是兩個(gè)各自獨(dú)立運(yùn)作的耳機(jī)一樣。這也意味著我們的大腦是通過多方面的線索來整合聲音的信息，比如一個(gè)聲音在到達(dá)我們左耳還有右耳的時(shí)間是不同的，這樣就能方便大腦辨識這個(gè)聲音的位置。想要把這種功能搬到喇叭或者耳機(jī)上面是一件非常困難的事。
為了制造這種聲音的 3D 效果，其中一個(gè)辦法就是在你的周圍布滿擴(kuò)音器，也就是人們常說的環(huán)繞立體聲，某些影院里面的音響設(shè)備也是按照這個(gè)來布置的，但是這個(gè)法子并不適用于耳機(jī)上。如今，移動(dòng)數(shù)字設(shè)備的崛起使得我們能夠利用耳機(jī)玩兒游戲，聽音樂和看電影。VisiSonic 的軟件就是通過耳機(jī)來制造某種 3D 效果。想象一下吧，當(dāng)你把耳機(jī)插上，你的耳朵里響起來的是貝多芬第九交響樂，閉上眼睛仿若置身于一個(gè)巨大的歌劇院聽著現(xiàn)場演奏，還是最好的位置；又或者是自己在 iPad 上看一部恐怖電影，壞人的腳步似乎就從你的身后跟了上來……
VisiSonics 的首席軟件工程師羅德·�？怂诡D(Road Haxton) 展示的第一批應(yīng)用展現(xiàn)出來的驚人的 RealSpace 3D 技術(shù)，其實(shí)在過去一個(gè)多世紀(jì)里面，它一直是音響工程師努力攻克的技術(shù)難題。在過去大部分時(shí)間里，他們往往是模擬出來一個(gè)人的頭，然后在這個(gè)假頭的兩邊耳朵里塞上耳機(jī)，然后錄制下來音頻，希望借此能夠真正的還原我們耳朵接收聲音的方式。
VisiSonics 找到了另外的方式繞開了使用「模擬人頭」的笨方法，通過軟件來達(dá)到過去一個(gè)多世紀(jì)人們想要達(dá)到的目的。通常來說，如果我們想要確定聲源的位置，都是通過轉(zhuǎn)頭來仔細(xì)區(qū)別接收到的聲音發(fā)生的變化，從這變化中找出聲源的位置。理解了這一點(diǎn)，對于能夠徹底讓人沉浸其中的虛擬現(xiàn)實(shí)還有增強(qiáng)現(xiàn)實(shí)至關(guān)重要，因?yàn)樵谶@個(gè)環(huán)境中，你不僅需要確定聲源的具體位置，而且整個(gè)環(huán)境所帶來的音響還會(huì)隨著你的頭移動(dòng)而不斷變換，這種聲音和人動(dòng)作之間的關(guān)聯(lián)會(huì)大大加強(qiáng)沉浸式感覺。
這款軟件同樣還替代了房間在聲音傳播過程中的作用。一般來說，聲音發(fā)出之后，它會(huì)在房間里面震蕩產(chǎn)生回響，也許它很細(xì)微你不會(huì)注意到。你所聽到的不僅僅是最原始的聲音，而且還有從墻壁、家具以及房間其他物品上面產(chǎn)生的回響。這些回響震蕩對于確定聽者以及聲源之間的距離非常有幫助，傳遞出來了一種位于三維空間的感覺。這款軟件就能夠替代房間對于聲音的加工作用，也正因?yàn)槿绱瞬葧?huì)使得音響 3D 變得如此的逼真。Duraiswami 表示：最關(guān)鍵的就是軟件復(fù)制這些回響的精確度。
Duraiswami 的軟件第三個(gè)重要的組成部分是在聲音進(jìn)入你耳道之前，模擬出來了從某個(gè)特定方向傳播過來的聲音與你身體的交互方式。聲音傳遞的方向不同，它從人的頭部，身體以及嘴唇還有外耳輪廓反射的方式也是有著細(xì)微的區(qū)別的�？茖W(xué)家將這種效果起了一個(gè)名字「Head-related transfer function」(簡稱為 HRTF，中文即是與頭部有關(guān)的聲音傳播方式）如果你真的想要讓人感覺聲音是從某個(gè)特定的方向傳播過來，那么你就必須利用 HRTF。
說回到本文開頭所做的那次實(shí)驗(yàn)，就我的大腦而言，我真的覺得經(jīng)由 VisiSonics 處理過的聲音，那個(gè)從我的耳機(jī)發(fā)出來的聲音其實(shí)是來自我手里拿著的灰色方塊。Duraiswami 表示：「所謂三維音樂，就好比是一個(gè)三條腿的凳子，如果一條腿缺失了，那么這個(gè)效果就消失了。」
在下一章節(jié)，我們將再舉出 RealSpace 3D 技術(shù)的應(yīng)用案例，讓你盡可能的去體會(huì)這項(xiàng)技術(shù)的奇妙之處。另外，我們還會(huì)追溯歷史，告訴你 VisiSonics 這家初創(chuàng)公司成長的歷程，它是如何從一個(gè)默默無聞的小公司發(fā)展成為如今炙手可熱，各大公司競相追逐的目標(biāo)的。
