热搜: 佳士科技irobot开云电竞官网下载app机器人ABB机器人产业联盟机械手发那科机器人展览码垛机器人

为优化AR/VR体验 Meta将开发基于AI的空间音频工具

日期:2022-06-27 来源:青亭网 作者:网络收集 评论:0
标签: AI 空间音频
  近期,me taAI部门宣布将为AR/VR开发全新的空间音频工具:AcousticSythesis,以增强虚拟内容的视听体验。据悉,该空间音频工具可对不同的视觉环境做出相应的声音反馈,从而提升环境/场景模拟的保真性和沉浸感。

微信图片_20220627140230
  me ta表示:我们一直在研究人们与周围声音的互动感知,发现人们通常会根据声音的位置去预判听到的音效。比如,如果你站在洞穴里,可能会期待听到回声,而远处的声源可能会听的不清楚。也就是说,环境特征会影响声音,包括空间的结构、空间中物品的材质、麦克风和声源之间的距离。
  目前,AI模型已经可以理解 视频中的图像场景,因此me taAI希望在此基础上,开发一个多模态的AI环境理解模型,也就是说AI将不止能够视觉分析场景,还能理解不同场景中的声音。简单来讲,就是通过视觉提示来匹配目标场景坐标的声音,还可以融合虚拟和现实场景音,去除混响和噪音,强化虚拟音效,从而提升AR/VR观影、社交体验的沉浸感。
  同时,为了推动沉浸式空间音频内容生态,me ta将向开发者开放三个支持视听理解的AI模型,这些模型专注于分析 视频中的人类语言和声音,可让视频体验更加身临其境。未来,me ta计划将这种技术与音频翻译技术结合,以推动全新的 应用场景。
声明:凡开云电子链接 来源注明为其他媒体来源的信息,均为转载自其他媒体,并不代表本网站赞同其观点,也不代表本网站对其真实性负责。您若对该文章内容有任何疑问或质疑,请立即与开云客户(www.www.wykobounce.com)联系,本网站将迅速给您回应并做处理。
电话:021-39553798-8007
更多> 相关开云电子链接
0 相关评论

推荐图文
推荐开云电子链接
点击排行
Baidu
map