成像系统中的编码器（光学系统）将物体映射为无噪图像，噪声会将这些图像污染为测量值。我们的信息估计器仅利用这些含噪测量值和噪声模型，来量化测量值区分不同物体的能力。
作者：Henry Pinkard, Leyla Kabuli, Eric Markley, Tiffany Chien, Jiantao Jiao, Laura Waller
许多成像系统产生的测量结果，人类从未见过或无法直接解读。你的智能手机在生成最终照片前，会通过算法处理原始传感器数据。磁共振成像扫描仪采集频域测量值，在医生查看前需要经过重建。自动驾驶汽车则直接用神经网络处理摄像头和激光雷达的数据。
在这些系统中，重要的不是测量结果看起来如何，而是它们包含了多少有用信息。即使信息以人类无法解读的方式编码，人工智能也能将其提取出来。
然而，我们很少直接评估信息内容。传统的指标如分辨率和信噪比分别评估质量的各个方面，这使得比较在不同因素间进行权衡的系统变得困难。常见的替代方法是训练神经网络进行图像重建或分类，但这将成像硬件的质量与算法的质量混为一谈。
我们开发了一个框架，能够根据信息内容直接评估和优化成像系统。在我们发表于 NeurIPS 2025 的论文中，我们展示了这个信息度量可以预测成像系统在四个领域的性能，并且优化该度量产生的设计能与最先进的端到端方法相媲美，同时需要更少的内存、更少的计算量，并且无需特定任务的解码器设计。
为什么选择互信息？
互信息量化了测量结果在多大程度上减少了关于产生它的物体的不确定性。两个具有相同互信息的系统，即使它们的测量结果看起来完全不同，在区分物体的能力上也是等效的。
这一个单一数值综合了分辨率、噪声、采样以及所有其他影响测量质量的因素。一张模糊、有噪点的图像，如果保留了区分物体所需的关键特征，它可能比一张丢失了这些特征的清晰、干净图像包含更多信息。
信息将传统上分离的质量指标统一起来。它将噪声、分辨率和光谱灵敏度作为一个整体来考量，而不是将它们视为独立的因素。
以前将信息论应用于成像的尝试面临两个问题。第一种方法将成像系统视为无约束的通信信道，忽略了透镜和传感器的物理限制，这导致了极不准确的估计。第二种方法需要对被成像的物体进行显式建模，限制了其通用性。
我们的方法通过直接从测量值估计信息来避免这两个问题。
从测量值估计信息
估计高维变量之间的互信息是出了名的困难。样本需求随维度呈指数级增长，且估计值存在高偏差和高方差。
然而，成像系统具有一些特性，使得可以将这个难题分解为更简单的子问题。互信息可以写成：
I(物体；测量值) = H(测量值) - H(测量值|物体)
第一项 H(测量值) 衡量了由物体差异和噪声共同引起的测量值总变异性。第二项 H(测量值|物体) 衡量了仅由噪声引起的变异性。
互信息等于总测量变异与仅噪声变异之差。
成像系统具有特性明确的噪声。光子散粒噪声服从泊松分布。电子读出噪声是高斯分布。这种已知的噪声物理特性意味着我们可以直接计算 H(测量值|物体)，剩下的只需从数据中学习 H(测量值)。
对于 H(测量值)，我们用一个概率模型（例如，一个变换器或其他自回归模型）来拟合一个测量值数据集。该模型学习所有可能测量值的分布。我们测试了三个在效率与准确性之间进行权衡的模型：一个平稳高斯过程（最快）、一个完整高斯模型（中等）和一个自回归 PixelCNN（最准确）。该方法提供了真实信息的上界；任何建模误差都只会导致高估，而不会低估。
在四个成像领域的验证
如果信息估计能够捕捉到限制实际系统的因素，那么它应该能够预测解码器的性能。我们在四个成像应用中检验了这种关系。
信息估计可以预测彩色摄影、射电天文学、无透镜成像和显微镜领域的解码器性能。更高的信息量始终在下游任务中产生更好的结果。
彩色摄影：数码相机使用滤色器阵列，限制每个像素只能检测特定波长的光。我们比较了三种滤色器设计：传统的拜耳模式、随机排列和一种学习得到的排列。信息估计正确地对哪些设计能产生更好的色彩重建进行了排序，这与神经网络去马赛克得出的排名一致，且无需任何重建算法。
射电天文学：望远镜阵列通过结合全球各地站点的信号来实现高角分辨率。选择最优的望远镜站点位置在计算上是难以处理的，因为每个站点的价值都依赖于其他所有站点。信息估计可以预测不同望远镜配置下的重建质量，从而无需进行昂贵的图像重建即可实现站点选择。
无透镜成像：无透镜相机用光调制掩模取代传统光学元件。它们的测量结果在视觉上与场景毫无相似之处。信息估计可以预测在不同噪声水平下，透镜、微透镜阵列和扩散器设计的重建精度。
显微镜：LED 阵列显微镜使用可编程照明来产生不同的对比度模式。信息估计与神经网络从细胞图像预测蛋白质表达的准确性相关，从而无需进行昂贵的蛋白质标记实验即可进行评估。
在所有情况下，更高的信息量都意味着更好的下游任务性能。
使用 IDEAL 设计系统
信息估计不仅能评估现有系统。我们的“信息驱动的编码器分析学习”（IDEAL）方法利用信息估计的梯度上升来优化成像系统参数。
IDEAL 通过信息估计的梯度反馈来优化成像系统参数，无需解码器网络。
计算成像设计的标准方法是端到端优化，它联合训练成像硬件和一个神经网络解码器。这需要反向传播通过整个解码器，造成了内存限制和潜在的优化困难。
IDEAL 通过仅优化编码器来避免这些问题。我们在滤色器设计上对其进行了测试。从一个随机滤色器排列开始，IDEAL 逐步改进设计。最终结果在信息内容和重建质量方面都与端到端优化相匹配。
IDEAL 达到了与端到端优化相当的性能，同时避免了训练期间的解码器复杂性。
启示
基于信息的评估为在实际条件下严格评估成像系统创造了新的可能性。当前的方法要么需要主观视觉评估，要么需要部署时无法获得的真实数据，要么使用孤立地衡量整体能力的指标。我们的方法仅从测量值就提供了一个客观、统一的度量。
IDEAL 的计算效率为设计以前难以处理的成像系统提供了可能。通过避免解码器反向传播，该方法降低了内存需求和训练复杂性。我们在后续工作中更广泛地探索了这些能力。
该框架可能扩展到成像之外的其他感知领域。任何可以被建模为具有已知噪声特性的确定性编码的系统，都可能从基于信息的评估和设计中受益，包括电子、生物和化学传感器。
本文基于我们发表在 NeurIPS 2025 上的论文《Information-driven design of imaging systems》。代码已在 GitHub 上提供。项目网站上提供了视频摘要。
本文最初发表于 BAIR 博客，并经作者许可在此发布。FINISHED
