随着科技的进步,人们对于音视频的要求不再仅仅只看得见和听得到,而更加追求视觉和听觉的双重享受,追求那种身临其境的感觉,也就是我们常提到的沉浸式体验。而要达到沉浸式体验,音频的效果至关重要。
沉浸式音频技术近年来逐渐扩大其应用范围,迅速发展到固定装置、广播,甚至现场演出等领域里。2018 年 6 月 28 日,世界著名的音频及媒体技术研究机构 Fraunhofer IIS 在 2018 年上海世界移动大会(MWC SH)上展示了能够为移动和家庭用户带来极致音频体验的系列技术:为广播电视和 OTT 领域打造沉浸式和互动式音效的 MPEG-H 电视音频系统,通过一个 3D 条形音箱营造家庭端影院级音效的沉浸式音频虚拟器 upHear,为手机用户带来全高清语音通话质量的增强型语音编解码器 EVS 技术, 以及为数字广播和移动流媒体应用带来卓越音频解决方案的 xHE-AAC 技术。
MPEG-H Audio——下一代交互及沉浸式音频系统
随着 MPEG-H 成功集成于 ATSC3.0 和 DVB 标准,并于 2017 年 5 月起应用于韩国基 ATSC 3.0 的全新地面超高清电视系统中,MPEG-H 技术成为了全球首个成功商用的下一代广播电视音频技术。今年 3 月,基于 MPEG-H 技术的 Fraunhofer 技术提案入选入选中国广电三维声传输段标准草案。目前,搭载了 MPEG-H 技术的专业广电设备(编码器、解码器和监听解决方案)和消费电子产品(家用机顶盒和电视机)已经先后问世。
Fraunhofer 工作人员指出,MPEG-H Audio 系统能够带来身临其境的沉浸感并赋予用户选择的权利,用户可以切换不同的音频预设以及调节对白音量,在家庭影院、智能手机、平板电脑还是虚拟现实设备上都能传递最佳的声音体验。
俄罗斯世界杯期间,韩国 SBS 电视台通过基于 ATSC 3.0 标准的超高清视频技术直播该项赛事,由 Fraunhofer 主导研发的 MPEG-H 电视音频系统的高级功能为用户带来沉浸式和交互式音频体验。SBS 的观众成为全球范围内首批在常规电视节目中享受沉浸式 3D 音频和个性化音频体验的用户。他们除了能够选择适合自己的音频预设以外,通过 MPEG-H 的对白增强功能还可以根据自身需求优化对白混音效果,该功能也将帮助听力障碍人士更好地理解节目内容。
Fraunhofer IIS 中国区业务代表 Toni Fiedler 先生表示:“目前,我们正在与 CCTV 团队紧锣密鼓地开展 2018 年俄罗斯世界杯期间中国三维声音频实时信号的测试工作,从而验证草案标准在实际直播过程中的可行性。与此同时,我们也在探讨如何将全新音频技术更好地通过新媒体应用呈献给更为广泛的观众群体。我们期待着中国三维声标准在不久的将来能够顺利发布,并尽快为中国用户带来下一代音频体验。“
Fraunhofer IIS 中国区业务代表 Toni Fiedler 先生
upHear 让单个条形音箱营造沉浸式影院音效
Fraunhofer upHear 沉浸式音频虚拟器是与编码器无关的音频后处理器技术,它能够集成于条形音箱和电视机等大众消费电子设备中,为用户带来真实且具有包容感的 3D 声音。Fraunhofer upHear 具有以下特征:
·根据具体硬件设计而优化的沉浸式音频还放;
·与音频编码器无关的音频后处理技术,原生支持 MPEG-H 内容;
·支持传统内容立体声和环绕声内容的上混;
·为嵌入式系统设计的优化目标代码库(例如:ADI 和 TI DSPs)。
凭借 Fraunhofer upHear 沉浸式音频虚拟器,用户可以在家中通过一个条形音箱享受影院般真实的沉浸式和互动式音效。在未来,支持 MPEG-H 解码的移动设备和 OTT 应用也能够带来同样真实的听觉盛宴。
在 MWC 现场,观众们在 Fraunhofer 切实地感受到了 upHear 沉浸式音频虚拟器的魅力,不管是音乐、电影、电视剧和普通音频,都可以感受到那种身临其境的感觉。
除了体验,我们还在现场看到了基于 Fraunhofer upHear 打造的智能音箱 demo——Yandex.IO。Yandex 实验产品总监 Konstantin Kruglov 此前曾表示:“我们在 Yandex.IO 远场麦克风阵列技术上测试了多种语音增强解决方案,最终发现 FraunhoferupHear 技术能够最有效地帮助 Alice 实现从智能手机到智能家居应用的转型。不论你是站在设备前方、房间角落亦或是在糟糕的声学条件下,Alice 都能听清你的口令。”
xHE-AAC 为流媒体和数字广播提升音频质量
xHE-AAC 是 MPEG AAC 音频编解码器的最新版本,它的加入使 AAC 系列编解码器的立体声传输码率适用范围得到进一步拓展,从低至 12 kbit/s 直至 300 kbit / s,从而让视频点播(SVOD)和流媒体音乐提供商在网络状况不佳或 2G/3G 网络下也能为消费者带来优质可靠的体验。此外,MPEG-D DRC 为 xHE-AAC 带来的强制响度控制功能能够确保用户收听到音量一致的还放内容,其提供的动态范围控制配置文件能够确保用户在嘈杂环境中享受优质的聆听体验。
目前,Android P 原生支持 Fraunhofer xHE-AAC 音频编解码器,开发人员能够立即在 Android P 全新的 FDK API 中运用这些新功能。