IF36.1｜Cellpose3：一键图像修复提升细胞分割

针对噪声、模糊和欠采样图像，Cellpose3通过优化分割而非像素重建，实现开箱即用的分割提升。

这篇按生信解读号的读法拆：先看背景和问题，再看作者怎么做、做出了哪几条硬发现，最后把数据和代码收走。

研究背景

显微镜成像常受噪声、模糊和欠采样影响，这些退化会显著降低细胞分割算法的性能。现有通用分割模型如Cellpose在干净图像上表现良好，但在退化图像上效果不佳，因为训练集中噪声图像很少。传统图像修复方法包括线性/非线性滤波和深度神经网络，但后者通常需要成对的干净-退化图像进行训练，在实际实验中难以获得。盲去噪方法如Noise2Self和Noise2Void无需干净图像，但依赖噪声像素独立性假设，且不能扩展到其他退化类型。此外，现有去噪方法多基于像素重建损失，可能对下游分割任务不是最优的。

科学问题

卡在哪里： 现有图像修复方法要么需要成对的干净-退化图像，要么仅适用于特定噪声类型且不能扩展到模糊或欠采样。此外，基于像素重建的损失函数可能无法保留对分割至关重要的细胞边界信息，导致修复后的图像虽然视觉上接近干净图像，但分割性能提升有限。

本文要回答： 本文旨在开发一种无需干净图像、能同时处理多种退化类型且直接优化分割性能的图像修复方法，并验证其在多种数据集上的泛化能力。

技术路线

作者主要用了：深度学习、图像修复、分割损失、感知损失、U-net、Transformer。

作者设计了一个级联网络：一个可训练的修复网络后接一个预训练的Cellpose分割网络。训练时，修复网络输出图像，分割网络计算分割损失，梯度反向传播到修复网络，从而直接优化分割性能。同时加入感知损失以保持视觉保真度。训练数据来自多个大型数据集，并模拟了泊松噪声、高斯模糊和下采样三种退化。最终训练了一个“一键”模型，可同时处理所有退化类型和数据集。

图 1　Fig. 1。图1展示了噪声对分割的影响及不同去噪方法的效果。a为干净图像，b为加噪图像及其分割结果，AP@0.5显著下降。c为Noise2Void去噪后的分割，性能有所恢复。d显示Noise2Void和Noise2Self在68张测试图像上的分割提升，部分图像性能下降。e为Cellpose3训练流程，包括重建损失、分割损失和感知损失。f-i比较了不同损失函数训练的网络去噪效果，分割损失网络能更好保留细胞边界。

核心亮点

亮点 1｜分割损失优于像素重建

在Cellpose测试集上，使用分割损失训练的修复网络比使用像素重建损失的网络能更好地保留细胞边界，分割性能提升更显著。例如，在噪声图像上，分割损失网络将AP@0.5从0.4提升到0.7，而重建损失网络仅提升到0.6。此外，结合感知损失可以进一步改善视觉质量，但不影响分割性能。

图 2　Fig. 2。图2展示了Cellpose3在真实噪声数据上的表现。a为测试集图像加噪和去噪后的对比，AP@0.5显著提升。b为果蝇翅膀上皮细胞在不同激光功率下的图像及分割，Cellpose3去噪后分割接近高激光功率结果。c为26张测试图像的平均AP，Cellpose3优于其他方法。d-e为小鼠皮层神经元双光子成像数据，Cellpose3在密集和稀疏表达区域均提升分割。

亮点 2｜跨数据集泛化能力

通过在九个不同数据集（包括细胞、细胞核、细菌、酵母等）上训练一个超通用分割模型，并基于此训练修复网络，作者实现了对未见图像类型的良好泛化。在多个测试集上，一键模型的分割性能与针对特定数据集训练的模型相当，证明了方法的通用性。

图 3　Fig. 3。图3展示了细胞核去噪的结果。a为测试集细胞核图像加噪和去噪后的对比，AP@0.5提升。b为111张测试图像的平均AP，Cellpose3优于盲去噪和直接在噪声图像上训练的分割模型。c为赤拟谷盗细胞核在不同激光功率下的图像及分割，Cellpose3去噪后分割接近高激光功率结果。d为6张测试图像的平均AP，Cellpose3表现最佳。

亮点 3｜真实噪声数据验证

在果蝇翅膀上皮细胞和赤拟谷盗细胞核的低激光功率图像上，Cellpose3修复后的图像分割性能显著优于原始图像和其他去噪方法。例如，在果蝇数据上，Cellpose3将AP@0.5从0.5提升到0.8，而Noise2Void仅提升到0.6。

图 4　Fig. 4。图4展示了去模糊和上采样的结果。a为测试集图像模糊和去模糊后的对比，AP@0.5提升。b为68张测试图像的平均AP，分割损失网络表现最好。c-d为降采样图像上采样后的结果，同样显示分割损失网络的优势。

亮点 4｜扩展到去模糊和上采样

同样的训练框架成功应用于去模糊和上采样任务。在合成模糊和降采样图像上，Cellpose3修复后分割性能大幅提升。此外，该方法还能处理三维数据的轴向退化，改善三维分割。

图 5　Fig. 5。图5展示了超通用分割模型的性能。a为九个数据集的示例图像及分割结果，超通用模型与真值高度一致。b为不同模型在各数据集上的平均AP，超通用模型与数据集特定模型性能接近，且优于Transformer模型。

亮点 5｜无幻觉证据

通过比较修复前后图像的假阳性率，作者发现Cellpose3并未引入更多假阳性细胞，表明网络没有“幻觉”出不存在的结构。这一结果支持了该方法在科学分析中的可靠性。

生信可带走

这一块是给做分析的人用的，不是科普点缀。

• 方法栈： 深度学习、图像修复、分割损失、感知损失、U-net、Transformer
• 公开数据： 原文未给出公开组学登录号
• 代码： 原文未给出公开 GitHub/GitLab 仓库
• 谁该点开原文： 从事显微图像分析、需要处理低质量图像或希望提升分割精度的研究人员。

带走一句

做图像分割前，先用Cellpose3一键修复退化图像，能显著提升分割质量，且无需担心引入假阳性。