IF36.1｜OmiCLIP：视觉-组学基础模型桥接病理图像与空间转录组

用百万级病理图像-转录组配对数据训练基础模型，实现跨模态组织分析。

这篇按生信解读号的读法拆：先看背景和问题，再看作者怎么做、做出了哪几条硬发现，最后把数据和代码收走。

研究背景

人工智能已深刻改变计算生物学，单细胞RNA测序和空间转录组等组学技术能提供与组织学图像配对的详细基因组数据。然而，现有计算模型要么专注于组学分析，要么专注于图像分析，缺乏对两者的整合。视觉-语言基础模型在病理学中已显示出实用性，但自然语言描述缺乏分子层面的疾病特征。空间转录组技术恰好能同时提供组织形态和分子信息，为训练整合两者的基础模型提供了理想数据源。

科学问题

卡在哪里： 目前缺少一个能够将病理图像与转录组数据对齐到共同表示空间的基础模型。视觉-语言模型仅依赖文本描述，无法捕捉分子异质性；而单模态模型无法利用配对数据中的互补信息。此外，跨模态任务如组织对齐、细胞类型分解和基因表达预测仍缺乏统一的解决方案。

本文要回答： 本文旨在开发一个视觉-组学基础模型OmiCLIP，并构建Loki平台，实现组织对齐、注释、分解、检索和基因表达预测等跨模态任务。

技术路线

作者主要用了：对比学习、CoCa框架、空间转录组、scRNA-seq、bulk RNA-seq、H&E图像。

作者首先从113项研究中收集了220万个配对的H&E图像和空间转录组数据，构建ST-bank数据集。将每个spot的转录组数据转换为按表达量排序的基因符号句子，与图像patch配对，通过对比学习训练OmiCLIP模型。基于OmiCLIP，开发了Loki平台，包含五个模块：Align（组织对齐）、Annotate（注释）、Decompose（细胞类型分解）、Retrieve（检索）和PredEx（基因表达预测）。在多个模拟和真实数据集上评估各模块性能，并与22种现有方法比较。

图 1　Fig. 1 |。图1展示了OmiCLIP的预训练流程和Loki平台架构。a部分显示通过对比学习对齐图像和转录组嵌入；b部分列出Loki的五个模块及训练数据规模；c部分为图像和转录组嵌入相似度热图；d部分说明Loki如何将scRNA-seq、bulk RNA-seq和标记基因转移到病理图像分析。

核心亮点

亮点 1｜OmiCLIP提升图像和转录组表示质量

通过对比学习，OmiCLIP的图像和转录组编码器能够更好地捕捉组织类型信息。在95个有专家注释的样本上，对比学习后的嵌入Calinski-Harabasz（CH）分数显著提高（P<0.001）。在其余无注释样本上，使用Leiden算法聚类后，所有器官类型的CH分数也显著增加（P<0.05）。OmiCLIP的图像嵌入优于UNI和GigaPath等最新模型，表明对齐图像和转录组数据比仅图像-图像交互更能捕获组织异质性。

图 2　Fig. 2 |。图2评估Loki Align的性能。b部分显示在模拟数据上Loki的ST-to-ST和图像-to-ST对齐优于PASTE和GPSA；c部分展示在8个相邻小肠切片上Loki对齐的PCC和Kendall's tau系数高于基线；d和e部分显示在卵巢癌肉瘤数据上Loki对齐效果最佳。

亮点 2｜Loki Align实现跨模态组织对齐

Loki Align利用OmiCLIP嵌入和相干点漂移（CPD）算法对齐ST-to-ST和图像-to-ST数据。在模拟数据上，Loki的ST-to-ST和图像-to-ST对齐分别排名第一和第二，显著优于PASTE和GPSA（P<0.001）。在8个相邻小肠切片上，Loki的PCC中位数在0.62-0.83之间，而PASTE和GPSA出现扭曲。在卵巢癌肉瘤数据上，Loki的PCC中位数达0.86-0.88，优于CAST（0.71）。在Visium-Xenium配对数据上，对齐后平均距离仅0.08 mm。

图 3　Fig. 3 |。图3展示Loki Annotate使用bulk RNA-seq注释H&E图像。b部分显示乳腺癌、心力衰竭和正常乳腺组织中，肿瘤、成纤维细胞和脂肪区域与相应bulk RNA-seq的相似度热图，病理专家标注区域与高相似度区域一致。

亮点 3｜Loki Annotate利用bulk RNA-seq或标记基因注释图像

Loki Annotate通过计算图像patch与bulk RNA-seq或标记基因句子嵌入的余弦相似度来注释组织类型。在乳腺癌、正常乳腺和心力衰竭组织上，肿瘤区域与肿瘤bulk RNA-seq的相似度显著高于非肿瘤区域（P<0.05），且与CLAM的肿瘤诊断值一致。在四个基准数据集（CRC7K、WSSS-4LUAD、PatchCamelyon、LC25000）上，Loki的F1分数在0.59-0.96之间，优于OpenAI CLIP（0.03-0.34）。与PLIP结合后，性能进一步提升，在CRC7K上召回率达93%。

图 4　Fig. 4 |。图4展示Loki Annotate使用标记基因注释图像。b部分比较Loki和OpenAI CLIP的相似度分数；c部分显示Loki在四个数据集上的F1分数优于OpenAI CLIP；d和e部分显示Loki与PLIP结合后性能提升；f部分展示在CRC7K上结合模型的混淆矩阵。

亮点 4｜Loki Decompose从H&E图像推断细胞类型组成

Loki Decompose使用OmiCLIP嵌入代替基因表达数据，应用Tangram算法分解细胞类型。在三阴性乳腺癌Xenium数据上，Loki在ST模式和图像模式下的影响分数分别为1.32和1.11，排名前二，优于Tangram、Cell2location、RCTD等方法。在结直肠癌Visium-HD数据上，Loki与Tangram性能相当。在全切片图像上，Loki预测的肿瘤细胞密度与病理注释和CLAM一致。在脑组织上，Loki准确预测了VLMCs、星形胶质细胞、不同层神经元和少突胶质细胞的分布。

图 5　Fig. 5 |。图5展示Loki Decompose的细胞类型分解性能。b部分为TNBC样本的Xenium细胞类型图；c部分比较12种方法的影响分数，Loki排名前二；d部分显示Loki预测的细胞类型比例与真实值的对比；e-h部分展示在结直肠癌和脑组织上的分解结果。

亮点 5｜Loki Retrieve实现图像到转录组的检索

Loki Retrieve利用OmiCLIP的对比学习能力，从ST-bank中检索与查询图像最相似的转录组数据。在四个独立数据集和八个内部组织上，Loki的相似度分数中位数在0.7-0.9之间，显著优于OpenAI CLIP和PLIP（P<0.05）。在Recall@K评估中，Loki在验证集和测试集上均优于基线，平均提高2.3-3.2倍。

亮点 6｜Loki PredEx从H&E图像预测基因表达

Loki PredEx通过加权参考ST spot的基因表达来预测查询图像的基因表达，权重由OmiCLIP嵌入相似度决定。在39个正常心脏样本上，Loki PredEx在28个样本上MSE最低，在16个样本上PCC最高，优于Hist2ST、HisToGene、BLEEP和mclSTExp。此外，Loki PredEx无需训练，避免了深度学习方法的高硬件需求。

生信可带走

这一块是给做分析的人用的，不是科普点缀。

• 方法栈： 对比学习、CoCa框架、空间转录组、scRNA-seq、bulk RNA-seq、H&E图像
• 公开数据： 原文未给出公开组学登录号
• 代码： 原文未给出公开 GitHub/GitLab 仓库
• 谁该点开原文： 从事空间转录组、病理图像分析或多模态整合的生信研究人员和研究生。

带走一句

将转录组数据转换为基因符号句子，与病理图像配对训练对比学习模型，可构建跨模态基础模型，为空间转录组分析提供统一框架。