环球科创网

新算法可以在虚拟现实中实现更逼真的声音效果

更新时间:2021-10-07 08:45:31

导读 大家好,我是本栏目的编辑郝帅。现在我给大家解释一下上面的问题。当我们看电影或玩电子游戏时,正确的音效有助于使场景更加逼真。当一个头

大家好,我是本栏目的编辑郝帅。现在我给大家解释一下上面的问题。当我们看电影或玩电子游戏时,正确的音效有助于使场景更加逼真。当一个头发花白的赌徒在银屏牌桌上掷银元时,声音似乎从一只耳朵传到另一只耳朵。电影制作人可以通过将预先录制的声音从一个扬声器拼接到另一个扬声器来做到这一点。

但是到目前为止,在虚拟现实中创造这样的感觉实际上是不可能的,因为VR没有脚本。很难预测一个物体可能发出什么样的噪音,或者在哪里可以听到它们。为了使虚拟现实听起来更真实,工程师必须创建大量的“声音模型”——计算机化的预先录制的等价物。每种声音模型都可以使虚拟现实系统在所需的精确时间合成特定的声音。到目前为止,一组计算机创建一个单一的声音模型需要几个小时,由于需要许多不同的模型来合成许多不同的潜在声音,因此在交互环境中创建逼真的声音一直是一个难以实现的目标。

现在,斯坦福大学的计算机科学家发明了一种算法,可以在几秒钟内创建声音模型,这使得在虚拟环境中模拟许多不同物体的声音变得划算。当需要声音的动作发生时,这种新模型可以使每个声音合成的声音与过去慢得多但仍然由实验算法产生的声音一样逼真。计算机科学教授道格詹姆斯(Doug James)说:“让创建模型变得更容易,就有可能构建一个具有逼真音效的交互环境。

创建声音模型的现有算法是基于19世纪科学家赫尔曼赫尔姆霍茨所做的工作,他给自己命名了一个描述声音如何传播的方程。基于这一理论基础,科学家设计了一种算法来创建三维声音模型:软件程序可以合成看似真实的音频,因为声音的音量和方向会根据动作相对于观众的位置而变化。到目前为止,创建三维声音模型的最佳算法依赖于边界元法,这是一个缓慢的过程,对于商业应用来说成本太高。

詹姆斯和他的研究生合作者王瑞贤开发了一种算法,通过避免亥姆霍兹方程和边界元法,可以快速计算数百到数千次的声音模型。他们的方法受到了20世纪奥地利作曲家弗里茨海因里希克莱因的启发,他发现了一种将大量钢琴音调和音符组合成一种叫做母弦的悠扬声音的方法。科学家们将他们的算法KleinPAT命名为他的灵感——在ACM SIGGRAPH 2019计算机图形学和交互技术会议上发表的科学论文中,一个解释他们的方法如何产生声音的模型。詹姆斯说:“我们认为这是一个改变互动环境的游戏规则。

免责声明:本文由用户上传,如有侵权请联系删除!