浅谈计算成像：前言篇（一）

计算成像这一个领域我断断续续关注已有一段时间，但是实操去进行coding的经验还相对有限，本文及后续系列文章旨在分享我对计算成像领域的认识、相关算法总结，相关器件和光学系统设计等。长期关注我的读者可能已经注意到，我的专业领域主要集中在器件、物理、硬件层面，虽然计算成像我断断续续关注已有一段时间，对于全息重建、ptycho、TIE，横向剪切干涉、单像素等有一些摸索，但是实操经验还相对有限，对于算法和系统层面的深入理解也有所欠缺，如果本文存在任何疏漏，恳请各位不吝赐教！也希望相关同行能多多交流~

/00  前言1：对光学系统的思考/

作为一个曾经研究光电器件的博士，我一度觉得光电探测器件是光电模组的核心，总是思考着如何实现高性能的、多功能的器件，实现精简（乃至去掉）光学模组、简化读出电路、并且化简后端算法处理（乃至所见即所得）。后来逐渐接触到了光学系统、成像算法，才逐渐对“模组”和“系统”的概念有了更深刻的理解。相关的感悟主要有以下三点：

1. 系统最优化而非单体最优化：

如果只盯着模组里的单项，实现其单体最优化并不能实现系统最优化，比如最好的探测器件并不见得可以构成最优的探测模组，比如从降低器件噪声上说，如果仅仅从感光像素上出发实现低噪声像素设计，探索异质结势垒设计、低压雪崩、暗电流抑制等技术，不但器件设计和工艺探索的难度大，而且还会面临成本问题。如果把低噪声这一指标压力同时下发到器件、电路读出、算法处理，则更有可能实现系统性能、成本、难度的兼顾。

2.  器件层面的难点并非系统层面的难点：

近年器件层面已经可以实现很多多维度的光信息探测了，包括光谱、光偏振。但是这个时候需要思考一个问题，把这部分功能实现放在器件侧真的会比放在光学侧更有优势么？以及所说的优势在什么场景下成立？以光谱探测为例，现在推出的器件级别的光谱探测方案依赖于超构表面、渐变参杂、新兴材料，这些技术都面临工艺兼容、良率提升、成本控制等问题。而相比起来在光学侧实现分光式光谱探测则相对成熟，成本可控，唯一的缺点是体积庞大。那么，需要思考的是在什么场景下体积缩小所带来的优势或者收益足以抵消光谱仪器件化所需付出的代价？此外部分光维度的探测很难在器件侧实现，比如相位或说是波前，这类信息像素不能做直接感知，但是依赖于干涉进行强度信息转化，就能在算法侧很容易的得到解决。

3. 光学模组是器件、系统、算法的强匹配和联合设计：

器件、系统、算法领域的专家是需要多多交流和了解对方领域的，从而把不同的指标下发到不同模组，或者共同承接指标的实现，实现最少冗余设计下性能可用，成本可控、质量可靠。以无透镜成像为例，如果同时进行像素设计，匹配屋无透镜算法的需求设计小像素探测阵列、降低探测靶面钝化层厚度以降低衍射距离，并牺牲其他不需要的性能，则可以在保证成本情况下实现相比同类更优的无透镜成像系统，这比单纯的优化算法或者光源能实现好的综合最优系统。

/01 前言2：对计算成像的思考/

提到计算成像，可能部分长期从事实验，乃至机理研究的学者心里会产生本能的抗拒，对于实验+物理党，我们更愿意接受“所见即所得”的系统和设备。“为什么需要计算成像”这也是我刚接触这一领域的时候就思考的一个问题。毕竟所见即所得是最为直接的一种方式。将“计算”过程引入“成像”一个问题就是其间接性，比如你如何证明你计算重建的信息反映了真实的物理场景而不会由于反解过程出现“无中生有”？

这个问题要回答，我觉得可以从以下几个应用场景去看计算成像的必要性：

信息“不可见”场景：

人眼直接可见的信息是光强度和色彩，但是光作为一种电磁波具有高维度的信息和特征。有些信息和特征是无关通过肉眼观测或直接进行采集成像的，一个例子就是光的传输相位信息。相位信息里包含了丰富的信息，可用于透明物体成像、细胞干重测量、表面形貌成像、缺陷检测等应用场景。但是相位信息是无法直接可见的。我们直接可见的信息是振幅信息，而相位、光谱、偏振都一定程度的被丢失了，光学系统通过特殊设计后可以实现光谱、偏振的可见，但是完全不依赖计算的“可见”需要付出较大的硬件成本代价，这在某些消费级乃至工业级场景下不可接受。

信息“可见不可建”场景：

很多场景下需要对物体进行3D成像，即捕捉并重建物体的三维形状和外观。这种技术在多个领域都有应用，包括医学成像、工业检测、娱乐和虚拟现实。然而图像传感器只能实现2D图像的采集，此时直接成像不能实现3D物体的重建。而结合计算成像技术，比如Tomography即可实现物体的3D信息重构。

信息“所见非所得”场景：

在某些成像技术中，如X射线断层扫描（CT）或磁共振成像（MRI），原始数据通常是一系列投影或测量值，需要通过算法重建出最终的图像。还有在背景噪声大、运动模糊、背景干扰等场景，直接采集的信号并非原始信号，需要进行计算成像处理将原始信号进行恢复，对应技术包括自适应光学、高速摄影成像，计算降噪等。这一原理也可以反向用于信息加密、隐身、全息等领域。

4. 信息“冗余”场景：

在部分场景，原始图像中冗余信息较多，如果直接采集会导致存储和能耗的浪费，此时引入压缩感知相关的计算成像算法，可以实现数据量的减少和硬件需求的降低。

正如上面讨论光谱仪所探讨的，没有完美的技术和完美的方案，当在某些场景下，某个技术的优势或者带来的利益足够弥补为其所需付出的代价时，这个技术就具备发展的潜力和推动的意义。正如计算成像，在上述四种场景下，其相比传统的直接成像就具备综合对比下的性价优势。

下图图表展示了成像系统变得不可或缺的众多领域。其中生物领域的成像涉及到诸多传统成像方法不可见或者不可建的场景，比如细胞成像、超声成像、MRI等。鬼成像则可以用以解决实现信息冗余问题。

图片来源：Fourier Optics and Computational Imaging

计算成像虽然缺乏观测的直接性，引入了计算过程也带来一定的黑盒性，但是计算成像利用先进的算法和计算技术实现了更多维度信息的获取，整合、处理、增强图像的质量和信息内容，同时也降低了对硬件的要求。目前，计算成像领域的研究和应用正在不断扩展，它为传统成像技术提供了新的视角和可能性，同时也带来了新的挑战，如算法的复杂性、计算资源的需求以及数据的安全性和隐私保护。