IF36.1｜CelloType：空间组学图像分割与分类的统一模型

一个Transformer多任务学习框架，同时搞定细胞分割和分类，精度全面超越现有方法。

这篇按生信解读号的读法拆：先看背景和问题，再看作者怎么做、做出了哪几条硬发现，最后把数据和代码收走。

研究背景

空间组学技术能够在组织原位同时获取分子表达和空间位置信息，为理解组织微环境提供了前所未有的视角。分析这类数据通常从细胞分割开始，然后进行细胞类型注释，传统流程将这两个任务串联执行。现有分割方法如Mesmer基于CNN，Cellpose基于U-net预测拓扑图梯度；分类方法如CellSighter依赖分割掩膜和图像，CELESTA基于蛋白表达矩阵。这些方法在特定组织上表现尚可，但分割和分类相互独立，分类模型无法利用图像中的语义信息，且分割性能在不同组织间波动较大。近年来，Transformer架构在计算机视觉中展现出优于CNN的性能，DETR、DINO等模型在目标检测上取得突破，MaskDINO统一了检测和分割，但这些方法尚未应用于多通道组织图像。

科学问题

卡在哪里： 现有方法将分割和分类分开进行，分类模型依赖分割结果，无法充分利用图像语义信息；两阶段方法计算效率低，需要分别训练；分割性能在不同组织类型间差异大；且缺乏对分割结果的置信度评估。此外，Transformer模型在多通道组织图像上的应用尚属空白。

本文要回答： 开发一个端到端的统一模型，同时进行细胞分割和分类，并评估其在多种空间组学数据上的性能。

技术路线

作者主要用了：Swin Transformer、DINO、MaskDINO、多任务学习、AP评估。

作者设计了CelloType，一个基于Transformer的端到端框架。首先用Swin Transformer提取多尺度图像特征，然后DINO模块进行目标检测和初步分类，输出检测框和类别标签，最后MaskDINO模块融合图像特征和DINO输出，生成精细的实例分割掩膜。训练时联合优化分割掩膜、检测框和类别标签的损失。作者在多个公开数据集上进行了基准测试，包括TissueNet（多通道荧光图像）、Cellpose Cyto（多种显微镜图像）、Xenium和MERFISH（空间转录组数据），并与现有方法进行了全面比较。

图 1　Fig. 1。图1展示了CelloType的整体架构。输入图像首先经过Swin Transformer提取多尺度特征，然后DINO模块进行目标检测和分类，输出检测框和类别标签，最后MaskDINO模块融合特征生成精细分割掩膜。该图说明了三个模块如何协同工作，实现端到端的联合分割与分类。

核心亮点

亮点 1｜分割精度全面超越现有方法

在TissueNet数据集上，CelloType的细胞分割平均AP达到0.45，核分割平均AP达到0.57，而Mesmer分别为0.31和0.24，Cellpose2分别为0.35和0.52。加入置信度评分的CelloType_C进一步将细胞分割AP提升至0.56，核分割AP提升至0.66。在Cellpose Cyto数据集上，CelloType_C的平均AP为0.47，优于Cellpose2的0.32。这些结果表明CelloType在不同成像平台和组织类型上均具有稳定的优势。

图 2　Fig. 2。图2比较了CelloType与Mesmer、Cellpose2在TissueNet数据集上的分割性能。AP-IoU曲线显示CelloType在所有IoU阈值下均优于其他方法，加入置信度评分后性能进一步提升。按成像平台和组织类型分层分析也表明CelloType具有一致的优势。

亮点 2｜空间转录组数据上的分割优势

在Xenium数据集上，CelloType使用DAPI和转录信号作为输入，平均AP达到0.47，而SCS和Baysor仅为0.01。仅使用转录信号时，CelloType的AP降至0.02，说明DAPI信号对准确分割至关重要。在MERFISH数据上，使用DAPI和转录信号联合输入的CelloType核分割AP为0.44，高于仅使用DAPI的0.40，表明转录信号能进一步提升核分割精度。

图 3　Fig. 3。图3展示了在Cellpose Cyto数据集上的分割结果。CelloType_C的平均AP为0.47，高于Cellpose2的0.32。在不同图像类型上，CelloType均表现出更高的精度。代表性图像显示Cellpose2倾向于欠分割，而CelloType能更准确地描绘细胞边界。

亮点 3｜联合分割与分类性能优异

在结直肠癌CODEX数据集上，CelloType同时进行分割和分类，平均AP达到0.55，显著高于Cellpose2+CellSighter组合的0.13和Mask R-CNN的0.43。CelloType的置信度评分与预测准确率呈强线性相关（回归系数0.56），而CellSighter和Mask R-CNN的置信度评分与准确率关系平坦（系数分别为0.21和0.19），表明CelloType的置信度更具参考价值。

图 4　Fig. 4。图4比较了CelloType与SCS、Baysor在空间转录组数据上的分割性能。在Xenium数据上，CelloType的平均AP为0.47，远高于SCS和Baysor的0.01。在MERFISH数据上，使用DAPI和转录信号联合输入的CelloType核分割AP为0.44，优于仅使用DAPI的0.40。

亮点 4｜多尺度分割非细胞结构

在骨髓CODEX数据集上，CelloType同时分割和分类细胞及非细胞结构，对脂肪细胞、骨小梁碎片和其他细胞类型的平均AP分别为0.39、0.31和0.42。CelloType能够准确识别形态不规则、大小差异大的结构，展示了其在复杂组织图像中的多尺度分析能力。

图 5　Fig. 5。图5展示了在结直肠癌CODEX数据集上的联合分割与分类结果。CelloType的平均AP为0.55，显著高于Cellpose2+CellSighter的0.13和Mask R-CNN的0.43。CelloType的置信度评分与预测准确率呈强线性相关，而其他方法的相关性较弱。

生信可带走

这一块是给做分析的人用的，不是科普点缀。

• 方法栈： Swin Transformer、DINO、MaskDINO、多任务学习、AP评估
• 公开数据： 原文未给出公开组学登录号
• 代码： 公开仓库 http://github.com/tanlabcode/CelloType、https://github.com/chenhcs/SCS、https://github.com/kharchenkolab/Baysor；本地已克隆：SCS、Baysor、CelloType
• 谁该点开原文： 从事空间组学数据分析、图像分割或细胞类型注释的研究人员和生物信息学家。

带走一句

多任务学习框架能同时提升分割和分类精度，Transformer模型在多通道组织图像上潜力巨大，值得在空间组学分析中尝试。