324
试想一下，你正坐在客厅里观看电影，此时画面中有一架直升机飞过，你可以听到直升机的声音仿若就在你头顶上方移动，从房间的一侧到另一侧，营造出真正身临其境的观影体验。得益于基于沉浸式音频模型和格式 (IAMF, Immersive Audio Model and Formats) 的新开源音频技术 Eclipsa Audio™，上述的听觉体验已能实现。无论是搭配了高端电视的高档影院系统，还是入门级移动设备和电视，该技术能够在多种常见消费电子产品中快速高效地处理此类需求。
该技术于今年国际消费类电子产品展览会 (CES) 上推出，由 Google、三星、Arm 和开放媒体联盟（开发了 AV1 视频格式的组织）共同打造。
什么是 Eclipsa Audio？
Eclipsa Audio 是一种多声道音频环绕格式，利用 IAMF 技术提供沉浸式聆听体验。该技术通过垂直和水平传播音频，革新了听觉体验。这种三维音景高度模拟自然环境，使电影、电视节目和音乐中的声音表现更为生动逼真。
Eclipsa Audio 会根据不同场景动态调整音频，从而确保呈现最佳音质。此外，该技术还提供定制功能，使听众能够依据个人偏好调节声音，进而获得个性化及独特的听觉体验。
一个 Eclipsa Audio 比特流最多可以包含 28 个输入通道，这些通道被渲染到一组输出扬声器或耳机。这些输入声道可以是固定的，如管弦乐队中的麦克风；也可以是动态的，如动作电影中直升机穿过声场。
Eclipsa Audio 具备双耳渲染功能，这对于通过耳机提供沉浸式音频的移动端应用至关重要。此外，这种新的音频技术支持跨消费类设备进行内容创建，使用户能够自行构建沉浸式音频体验。
Arm 与 Google 在 IAMF 开发的合作历程
在 IAMF 开发过程中，Arm 作为战略合作伙伴，与 Google 团队密切协作，以优化该技术的性能。Arm 的工作重点在于提高 Opus 编解码器和 IAMF 库 (libiamf) 的效率，确保其在当今广泛应用于移动设备和电视中的 Arm CPU 上实现最佳性能。
自 2005 年以来，Arm CPU 已经集成了 Neon SIMD 扩展，并且在此之后取得了显著发展，使得音频和视频处理等数字信号处理 (DSP) 任务实现了性能跃升。针对 IAMF，Arm 的工程师致力于技术优化，使其能够在最低 CPU 使用率下实时解码复杂的比特流，如此一来，即使 CPU 正在处理体验中的其他任务，也能确保可靠的性能。这对于注重能效的移动端应用尤为重要。
性能增强
Arm 一直在为 opus-codec 和 libiamf 升级补丁，专注于浮点实现，以实现最佳性能。这些增强包括：
· Neon Intrinsic 优化：该优化支持多种 Arm 架构（包括 Armv7 + Neon、Armv8-A32、Armv8-A64 和 Armv9），从而加速了浮点到 INT16 的转换和软削波。此外，还为多通道扬声器输出中的矩阵乘法和通道解压缩提供了 CPU 特定的优化。
· 性能提升：在 Quartz64 和 Google Pixel 7 等设备上，不同扬声器配置（如立体声、5.1、9.1.6）都有显著的性能提升。举例来说，9.1.6 的输出在 Pixel 7 的 Arm Cortex-A55 CPU 核心上性能提升超过了 160%。
· 解码效率：经优化后，所有测试文件在 AArch64 上的解码时间少于实时的 16%，而在 AArch32 上则少于实时的 23%，使其在 Cortex-A55 处理器上极为高效。
核心技术
IAMF 支持多种音频编码格式，包括 LPCM、AAC、FLAC 和 Opus。其中，Opus 是当前最时新的编解码器，通常被认为是首选。Arm 针对 Arm 架构对 Opus 进行了进一步优化，从而确保其在 IAMF 框架内高效运行。
IAMF 库 (libiamf) 负责解码 IAMF 比特流，并为各类音响系统生成扬声器输出。Arm 引入了一种 CPU 专用化框架，通过编译时特征检测，确保该库针对其运行的平台进行了优化。
通过对 Opus 编解码器和 libiamf 库等关键组件进行优化，Arm 的工程师确保了 IAMF 在 Arm CPU 上能够提供卓越的性能。这不仅提升了用户体验，也体现了 Arm 的技术在前沿应用中的重要价值。
开放媒体联盟支持的 IAMF 开放标准方法，与 Arm 提供广泛可访问性和推动创新的愿景高度契合。此次合作凸显了 Arm 在推动沉浸式音频技术未来方面的重要作用，为包括高端家庭影院系统、入门级移动设备和电视等在内的各种现有及未来设备，提供高质量的音频体验。
沉浸式音频的未来就在这里
IAMF 彰显了沉浸式音频技术的重大飞跃，通过利用人工智能 (AI) 和深度学习技术以及 Arm 支持的强大性能优化，提供多功能和高质量的音频体验。
沉浸式音频的未来已经到来，并且变得更加触手可及。无论您是普通听众还是音响发烧友，IAMF 将为您带来前所未有的沉浸式音频体验。
