IF36.1｜微镜图像分割基础模型μSAM

微调SAM并加入自动分割解码器，一个模型同时支持交互式与自动分割。

这篇按生信解读号的读法拆：先看背景和问题，再看作者怎么做、做出了哪几条硬发现，最后把数据和代码收走。

研究背景

显微镜图像中识别细胞、细胞核或细胞器等对象是生物图像分析的核心任务。不同模态（光镜LM、电镜EM）和维度（2D、3D、时间序列）差异巨大，现有深度学习方法虽在特定数据集上表现优异，但泛化能力有限，换一种数据往往需要重新标注和训练。手动标注耗时费力，半自动方法在初始分割质量差时效率低下。视觉基础模型如Segment Anything Model (SAM)在自然图像上展现了强大的交互式分割能力，但其在显微镜领域的应用尚处于起步阶段，且原始SAM模型在密集细胞等场景下存在将细胞簇误分为单个对象等问题。

科学问题

卡在哪里： SAM在显微镜数据上的分割质量有限，且原始训练代码未开源，无法直接微调。此外，SAM仅支持交互式分割，缺乏自动实例分割能力，难以满足大规模数据处理需求。

本文要回答： 本文旨在通过微调SAM并扩展其架构，开发适用于光镜和电镜的通用分割模型，并提供交互式与自动分割一体化的工具。

技术路线

作者主要用了：SAM微调、自动实例分割解码器(AIS)、napari插件、多数据集训练。

作者首先复现了SAM的训练流程，并加入一个基于UNETR的额外解码器，预测前景、中心距离和边界距离，通过后处理实现自动实例分割（AIS）。然后在LIVECell等数据集上验证微调效果，并训练了光镜和电镜的通用模型。最后将模型集成到napari插件中，支持2D、3D、跟踪和批量处理，并通过用户研究评估其实际标注效率。

图 1　Fig. 1。图1展示了μSAM的整体工作流程和napari插件界面。a部分显示插件支持自动分割、交互式修正和模型再训练，虚线表示可单独使用交互式分割。b部分对比了默认SAM和微调模型在细胞分割上的效果，微调模型能正确分离密集细胞，而默认SAM将多个细胞合并为一个对象。

核心亮点

亮点 1｜微调SAM显著提升细胞分割

在LIVECell数据集上，微调后的专用模型在交互式分割（点或框提示）和自动分割（AMG/AIS）上均大幅优于默认SAM。从单个点提示开始，经过7轮迭代修正，微调模型的平均分割精度（mSA）从约0.3提升至0.6以上，而默认SAM仅从0.2提升至0.4左右。自动分割AIS与CellPose性能相当。微调图像编码器对性能提升贡献最大，且仅需2-5%的训练数据即可获得大部分改进。

图 2　Fig. 2。图2a显示在LIVECell测试集上，微调模型（实线）在交互式分割中从初始点或框提示开始，经过多轮修正后mSA显著高于默认SAM（虚线），且自动分割AIS与CellPose相当。图2b表明微调图像编码器对性能提升最大，微调全部参数效果最佳。图2c显示仅用2-5%的训练数据即可获得大部分改进。

亮点 2｜光镜通用模型跨数据集泛化

在包含LIVECell、DeepBacs、TissueNet、NeurIPS CellSeg、PlantSeg等多样数据集上训练的光镜通用模型，在测试集上一致优于默认SAM，且与专用模型性能相当或更好。在未参与训练的COVID IF、PlantSeg(ovules)、Lizard和Mouse Embryo数据集上，通用模型也表现出明显改进，AIS与CellPose的自动分割精度总体相当。对于Lizard和Mouse Embryo等困难数据，交互式分割仍能获得良好结果。

图 3　Fig. 3。图3a比较了默认SAM、专用模型和光镜通用模型在多个数据集上的分割性能。通用模型在大多数数据集上优于默认SAM，且与专用模型相当。在未参与训练的COVID IF、PlantSeg(ovules)、Lizard和Mouse Embryo上，通用模型也表现出明显改进。图3b的定性结果显示通用模型能更准确地分割密集细胞和复杂形态。

亮点 3｜电镜通用模型提升线粒体分割

针对线粒体和细胞核分割训练的电镜通用模型，在MitoEM、MitoLab、Lucchi、UroCell、VNC和NucMM等数据集上，交互式分割精度均显著优于默认SAM。自动分割AIS和AMG与MitoNet性能相当，但AIS运行速度更快。对于纤毛和微绒毛等形态相似的细胞器，通用模型也有一定提升，但对于内质网和神经突起等结构，则需要专用模型才能获得明显改善。

图 4　Fig. 4。图4a显示电镜通用模型在多个线粒体和细胞核数据集上交互式分割性能优于默认SAM，自动分割AIS和AMG与MitoNet相当。图4b的定性对比显示通用模型能更好地分割线粒体，减少欠分割和过分割。

亮点 4｜资源受限下微调与推理可行

在CPU上，使用预计算嵌入的交互式分割每对象约30ms，自动分割AIS比AMG快数倍。使用ViT-B模型在CPU上微调少量图像（如5张）即可显著提升特定任务的分割性能，训练时间约5.3小时。LoRA参数高效微调并未带来训练时间优势。从通用模型开始微调通常优于从默认SAM开始，但若通用模型在目标任务上表现不佳，则应从默认模型开始。

图 5　Fig. 5。图5a比较了不同模型大小在CPU和GPU上的运行时间，ViT-B在速度和精度间取得较好平衡。图5b显示在COVID IF数据上，使用少量标注图像微调即可显著提升分割性能，从通用模型开始微调效果更佳。

亮点 5｜napari插件加速标注流程

μSAM以napari插件形式提供，支持2D、3D、跟踪和批量处理。在类器官分割用户研究中，使用微调后的μSAM模型，标注时间从手动约60秒/对象降至约10秒/对象，且标注质量与CellPose相当，但在测试集上的泛化性能优于CellPose。在3D电镜核分割中，μSAM比ilastik carving快2-5倍。在细胞核跟踪中，μSAM标注质量高于TrackMate+StarDist，但速度略慢。

生信可带走

这一块是给做分析的人用的，不是科普点缀。

• 方法栈： SAM微调、自动实例分割解码器(AIS)、napari插件、多数据集训练
• 公开数据： 原文未给出公开组学登录号
• 代码： 公开仓库 https://github.com/computational-cell-analytics/micro-sam
• 谁该点开原文： 从事生物图像分析、需要高效标注工具或希望应用基础模型的研究人员。

带走一句

微调SAM并加入自动分割解码器，可以构建一个同时支持交互式和自动分割的通用工具，大幅提升显微镜图像标注效率。