康谋分享 | aiSim5 物理相机传感器模型验证方法（一）

aiSim5可以实时模拟复杂的传感器配置，在多GPU分布式渲支持的支持下，aiSim可以渲染20多个摄像头、10多个雷达和10多个激光雷达在同一环境下运行。aiSim5独有的实时渲染引擎能够满足对物理精确环境和天气模拟的所有要求，具有完全的决定性和可重复性。

图1：aiSim5重建场景（来源：软件模拟截图）

图2：真实场景（来源：笔者拍摄）

aiSim5基于物理的相机模型将会通过以下方法验证其与真实世界的相关性：

一、光照度测试

aiSim 拥有内置的光照度传感器，因此可以使用光照度传感器对aiSim的照明模型和材质进行端到端的验证。

1、例1：在 aiSim 中重新模拟一个高速公路场景，并匹配相应的天气效果。

目前我们已经使用安装在数据收集车的顶部的光照度传感器进行了测量，如图3展示的2023年6月光照度变化图。图3中的尖峰代表阴影区域，其他变化则是由移动的云层引起的。

图3（来源：软件截图）

目前正在 aiSim 中重建这一场景并测试这一光照度测量结果。

2、例2：验证人工照明模型以及aiSim车库地图的相关性时，可以在车库使用匹配的光照属性进行重新模拟，aiSim 中会产生相似的结果。

图4：真实世界中进行传感器标定的场景（来源：笔者拍摄）

图5：aiSim中搭建的用于相机标定车库场景（软件模拟截图）

二、色彩校准测试

1、简介

在进行相机图像匹配时，使用Color Correction Matrix (CCM) 是一种有效的方法，可以通过对已知相机拍摄的参考照片和aiSim渲染的Macbeth色板图表进行比较来计算CCM。

图6（软件截图）

图7（软件介绍）

2、步骤

具体步骤如下：

• 准备参考照片：首先，需要一张使用已知相机拍摄的Macbeth色板的照片。Macbeth色板是一个标准化的颜色样本集，通常用于色彩管理和校准。
• 获取aiSim渲染的Macbeth色板：接着，你需要在aiSim中创建一个Macbeth色板的渲染图。确保渲染环境的光照条件与参考照片尽可能一致，以便更准确地匹配颜色。
• 应用CCM：计算出CCM后，aiSim可以将其应用于aiSim的图像输出，进行颜色校正。
• 验证和调整：应用CCM后，比较aiSim输出的颜色与参考照片的颜色。如果存在差异，可能需要进一步调整CCM的参数或重新计算，直到达到满意的匹配效果。

通过这种方法，可以确保aiSim的输出颜色与实际拍摄的照片颜色尽可能一致，从而提高图像的真实性和准确性。

三、离线仿真器验证

1、简介

也可以采用基于物理的渲染（PBR）离线渲染器进行比较。

2、步骤

以下是详细的验证步骤：

• 构建相同样本场景：在aiSim和参考渲染器中构建相同的样本场景。这包括场景中的所有物体、材质、光照条件等，以确保两个环境中的变量尽可能一致。
• 使用相同的相机参数：使用相同的相机外部参数（extrinsic）和内部参数（intrinsic）来拍摄场景。外部参数涉及相机在世界空间中的位置和方向，而内部参数则包括焦距、畸变等相机特有的属性。
• 进行HDR或LDR验证：无论是高动态范围（HDR）还是低动态范围（LDR）验证，都可以用于比较两个渲染器生成的图像。选择哪种验证方式取决于场景的光照条件和所需的验证精度。
• 比较生成图像的差异：对aiSim生成的图像和参考渲染器生成的图像进行比较。可以通过视觉检查或使用图像分析工具来量化差异，如计算颜色偏差、亮度对比度等。
• 多场景验证：通过多个不同的场景来验证系统的不同部分，例如只验证人工光源，或者只验证天空和太阳的效果等。可以帮助识别和隔离特定问题，提高验证的针对性和效率。

以上方法均适用于验证aiSim相机传感器模型与现实世界或高精度的离线渲染器的相关性。