IF36.1｜物理驱动的自监督网络实现光场显微高速高保真三维重建

SeReNet让光场显微镜摆脱重建速度与保真度的两难，毫秒级完成近衍射极限三维重建。

这篇按生信解读号的读法拆：先看背景和问题，再看作者怎么做、做出了哪几条硬发现，最后把数据和代码收走。

研究背景

光场显微镜（LFM）及其变体通过单次曝光捕获四维光场信息，结合计算重建可实现活体高速三维成像，在神经科学和免疫学中展现出巨大潜力。然而，传统迭代层析重建虽然保真度高，但计算极其耗时，处理数千帧数据往往需要数天，难以支撑大规模动态观测。近年来，监督式深度学习方法显著提升了重建速度，但依赖配对训练数据，泛化能力有限，在噪声、像差和样本运动等复杂成像环境下性能下降明显。扫描光场显微镜（sLFM）进一步提高了空间分辨率，但其重建算法的发展更为滞后，缺乏针对性的学习型方法。因此，如何在保证高分辨率和高保真度的同时，实现快速、鲁棒且无需大量标注数据的三维重建，成为光场显微技术走向广泛实际应用的关键瓶颈。

科学问题

卡在哪里： 现有光场显微重建方法存在速度与保真度的矛盾：迭代层析速度慢，监督学习泛化差，且缺乏针对sLFM的专用学习算法。

本文要回答： 开发一种物理驱动的自监督重建网络，在不依赖配对训练数据的情况下，实现sLFM和LFM的快速、高分辨率、鲁棒三维重建。

技术路线

作者主要用了：自监督学习、波前光学点扩散函数、混合泊松-高斯噪声模型、数字自适应光学、运动校正网络。

作者提出SeReNet，一种物理驱动的自监督重建网络。其核心思想是将光场成像的物理过程（四维角度点扩散函数）作为先验约束，通过最小化网络输出体积的前向投影与原始测量之间的差异来训练网络，无需真实三维标签。网络由深度分解模块、去模糊融合模块和自监督模块组成，并针对噪声、运动伪影和光学像差分别设计了NLL-MPG损失函数、TW-Net运动校正和preDAO像差校正。训练仅使用模拟的几何结构数据集（bubtub），即可泛化到多种真实生物样本。

图 1　Fig. 1。图1展示了sLFM的成像与重建流程以及SeReNet的处理管线。a部分显示荧光信号被13×13角度采样，经3×3扫描后重排为多视角图像；b部分概括了SeReNet的三大模块：深度分解、去模糊融合和自监督模块，并标注了NLL-MPG损失、TW-Net和preDAO的位置。该图清晰说明了SeReNet如何利用四维光场先验进行物理约束的自监督学习。

核心亮点

亮点 1｜SeReNet实现近衍射极限分辨率与700倍加速

在100 nm荧光微珠上，SeReNet重建的横向分辨率约220 nm，轴向约420 nm，接近衍射极限，且轴向均匀性优于迭代层析。处理单个体积仅需约50 ms，比迭代层析快约700倍，处理吞吐量提高约两倍。即使在不同扫描数或传统LFM配置下，SeReNet仍保持稳定性能，而之前的监督学习方法无法直接用于sLFM数据。

图 2　Fig. 2。图2对比了不同噪声水平下SeReNet与L1损失的重建结果，显示NLL-MPG损失在低光子下能更好保持线粒体结构。b和c部分通过MS-SSIM曲线和箱线图量化了不同损失函数和重建方法在低光子条件下的表现，SeReNet显著优于其他方法。d和e部分展示了TW-Net对非刚性运动伪影的校正效果，表明其优于传统时间加权算法。

亮点 2｜NLL-MPG损失显著提升低光子噪声鲁棒性

针对混合泊松-高斯噪声，作者推导了负对数似然损失函数（NLL-MPG）。在模拟低光子条件下，SeReNet重建的线粒体结构比L1损失更清晰，MS-SSIM曲线随光子数下降更平缓。在5-15光子的极低信噪比下，SeReNet的MS-SSIM显著高于其他方法（P=7.78×10⁻⁴），证明其在光子受限条件下的优势。

图 3　Fig. 3。图3展示了SeReNet在多种活体样本中的验证。a和b部分显示斑马鱼胚胎中迁移体的形成过程，SeReNet能清晰分辨亚细胞细节。c-e部分显示盘基网柄菌的膜标记成像，SeReNet校正了运动伪影，使细胞外囊泡和回缩纤维更清晰，并支持细胞追踪。f-i部分展示了线虫NeuroPAL神经元的彩色标记和钙信号，SeReNet提高了信噪比。

亮点 3｜TW-Net与preDAO解决运动伪影和光学像差

针对sLFM扫描过程中样本运动引起的棋盘状伪影，设计了轻量级内容感知时间加权网络TW-Net，自动估计空间非均匀加权系数，在保持分辨率的同时校正伪影。对于组织异质性导致的光学像差，开发了非迭代preDAO模块，通过角度视图间相关估计像差位移，校正速度仅5 ms，且精度接近迭代DAO。两者结合使SeReNet在活体复杂环境中保持高保真。

图 4　Fig. 4。图4聚焦于小鼠肝损伤模型。a部分为肝缺血再灌注模型示意图；b部分显示损伤后中性粒细胞数量显著增加（P=5.89×10⁻³）。c-f部分展示了SeReNet重建的肝脏活体图像，清晰显示中性粒细胞与Kupffer细胞间的相互作用，包括迁移体产生和回缩纤维牵拉。g-l部分为药物性肝损伤模型，显示CD63+内皮细胞招募单核细胞的过程。

亮点 4｜仅用模拟数据训练即可泛化到多种活体样本

SeReNet在仅包含气泡、微珠和管状结构的模拟数据集（bubtub）上训练后，直接应用于斑马鱼胚胎、盘基网柄菌、线虫、小鼠肝脏等多种活体样本，重建质量与在实验数据上训练相当。相比之下，VCD-Net和HyLFM-Net等监督网络在像差不匹配时性能显著下降。这证明了自监督物理约束有效防止了网络对未捕获信息的过拟合。

图 5　Fig. 5。图5展示了斑马鱼幼鱼尾部损伤后48小时的免疫应答。a部分为损伤示意图；b部分显示中性粒细胞和巨噬细胞在血管中的迁移。c和d部分比较了SeReNet与迭代层析的重建体积数和处理时间，SeReNet在5天内完成全部数据，而迭代层析仅能处理约1%。e和f部分显示SeReNet重建质量更高，细胞分割数量显著增加。g-q部分展示了免疫细胞数量、速度和距离的定量分析。

亮点 5｜长达48小时活体免疫应答连续三维成像

利用SeReNet处理斑马鱼幼鱼尾部损伤后48小时、每秒1体积的双色成像数据，共345,600个体积，仅用5天完成重建，而迭代层析需数年。重建结果清晰显示中性粒细胞和巨噬细胞向损伤部位的迁移、聚集和速度变化，细胞分割数量显著优于其他方法（P=1.07×10⁻¹⁵¹），实现了大规模免疫细胞动态的定量分析。

亮点 6｜揭示小鼠肝损伤中免疫细胞间新型相互作用

在小鼠肝脏缺血再灌注损伤模型中，SeReNet重建显示中性粒细胞在血管内迁移并产生迁移体进入Kupffer细胞，且通过回缩纤维进行细胞间牵拉。在药物性肝损伤模型中，观察到CD63+内皮细胞远距离招募单核细胞，并伴随黏附与往复运动。这些亚细胞尺度动态为理解肝脏免疫病理提供了新视角。

生信可带走

这一块是给做分析的人用的，不是科普点缀。

• 方法栈： 自监督学习、波前光学点扩散函数、混合泊松-高斯噪声模型、数字自适应光学、运动校正网络
• 公开数据： 原文未给出公开组学登录号
• 代码： 原文未给出公开 GitHub/GitLab 仓库
• 谁该点开原文： 从事光场显微成像、计算重建、活体动态观测及大规模图像处理的研究者。

带走一句

物理约束的自监督学习能摆脱对配对数据的依赖，在保证泛化性的同时实现高速高保真重建，为计算成像算法设计提供了新范式。