IF36.1｜神经时空模型消除多帧成像运动伪影

NSTM联合重建场景与运动，无需预训练即可从多帧原始数据中恢复动态过程。

这篇按生信解读号的读法拆：先看背景和问题，再看作者怎么做、做出了哪几条硬发现，最后把数据和代码收走。

研究背景

多帧计算成像系统通过顺序采集多张原始图像，再利用算法重建出超分辨、相位或高光谱等增强图像。然而，当样本在采集过程中发生运动时，重建结果会出现模糊或伪影，因为系统在不同时间点编码了略有差异的场景。传统方法要求样本在采集期间保持静止，这限制了活体动态样本的成像。已有的一些动态成像方法或依赖硬件加速、或需要数据先验和预训练，通用性有限。

科学问题

卡在哪里： 现有方法难以在无先验知识的情况下，从顺序采集的多帧原始数据中同时恢复动态场景和运动信息，尤其是对于复杂可变形运动。

本文要回答： 开发一种通用框架，无需预训练或数据先验，即可从多帧原始测量中联合估计场景及其运动动力学，消除运动伪影并解析样本动态。

技术路线

作者主要用了：坐标神经网络、哈希嵌入、粗到细优化、前向模型、梯度下降。

作者提出神经时空模型（NSTM），使用两个坐标神经网络分别表示场景和运动。运动网络为每个时空坐标输出位移向量，场景网络根据运动调整后的坐标生成场景值。通过将重建场景输入系统前向模型渲染测量值，并与实际采集数据比较，利用梯度下降联合优化两个网络权重。为解决网络更新不同步导致的收敛问题，引入粗到细过程，先恢复低频特征和整体运动，再逐步细化高频细节和局部形变。该方法可即插即用于任何具有可微前向模型的多帧成像系统。

图 1　Fig. 1。图1展示了多帧计算成像中运动伪影的来源及NSTM的架构。a部分对比了传统静态重建与NSTM动态重建的流程，b部分展示了NSTM由运动网络和场景网络组成，c部分说明了粗到细过程如何逐步恢复不同频率的特征和运动。

核心亮点

亮点 1｜DPC活体线虫运动校正

在差分相位衬比显微镜（DPC）中，NSTM从四幅不同照明模式的原始图像中恢复出活体线虫的运动，同时得到无运动伪影的振幅和相位重建。传统重建算法因假设静态场景而产生伪影，NSTM通过显式建模运动，不仅消除了伪影，还提供了样本动态的估计。

图 2　Fig. 2。图2对比了密集微珠样本在3D SIM下的重建结果。传统算法（fairSIM）因运动导致模糊，无法分辨单个微珠；NSTM重建结果与无运动时的真值重建质量相当，成功分辨所有微珠。右下角频谱图显示NSTM保留了高频信息。

亮点 2｜3D SIM微珠运动伪影消除

在3D结构光照明显微镜（3D SIM）中，对单层密集微珠样本引入运动后，传统算法（fairSIM）重建图像模糊，无法分辨单个微珠。NSTM重建结果与无运动时的真值重建质量相当，成功分辨所有亚分辨率微珠，并恢复了运动图。

图 3　Fig. 3。图3展示活RPE-1细胞线粒体的3D SIM重建。传统重建显示一个带有分支的线粒体小管（红箭头），但NSTM恢复的样本动态表明这实际上是一条运动的小管。NSTM还去除了运动模糊，恢复了传统重建中模糊的特征（蓝箭头）。

亮点 3｜活细胞线粒体动态解析

对表达StayGold标记线粒体基质蛋白的活RPE-1细胞进行3D SIM成像，传统重建显示一个带有分支的线粒体小管，但NSTM恢复的样本动态表明这实际上是一条在采集期间运动的小管。NSTM还去除了运动模糊，恢复了传统重建中模糊的特征，保留了更多高频信息。

图 4　Fig. 4。图4展示活RPE-1细胞内质网的3D SIM重建。传统重建难以解析清晰的内质网网络结构，且运动伪影随时间变化。NSTM从同一组原始图像中恢复出运动核和动态场景，解析的内质网结构在时间上保持一致，运动核揭示了单次3D SIM采集内不同时间点的动态。

亮点 4｜内质网动态与运动核恢复

在表达StayGold标记内质网的活细胞中，传统重建难以解析清晰的内质网网络结构，且运动伪影随时间变化。NSTM从同一组原始图像中恢复出运动核和动态场景，解析的内质网结构在时间上保持一致，运动核揭示了单次3D SIM采集内不同时间点的动态。

亮点 5｜滚动快门DiffuserCam视频重建

在滚动快门DiffuserCam无透镜成像中，NSTM通过显式建模运动，从单张原始图像中重建出更清晰的视频，避免了传统全变分正则化导致的过度平滑。此外，NSTM的运动网络可直接查询任意点的运动轨迹。

生信可带走

这一块是给做分析的人用的，不是科普点缀。

• 方法栈： 坐标神经网络、哈希嵌入、粗到细优化、前向模型、梯度下降
• 公开数据： 原文未给出公开组学登录号
• 代码： 公开仓库 http://github.com/google/jax、https://github.com/rmcao/nstm；本地已克隆：jax、nstm
• 谁该点开原文： 从事计算成像、活细胞显微成像和生物图像分析的研究者。

带走一句

NSTM为多帧计算成像提供了一种无需先验的运动校正方案，可即插即用于任何具有可微前向模型的系统，有望成为活细胞动态成像的通用工具。