type
status
date
slug
summary
tags
category
icon
password
最近尝试寻找将医学图像数据(主要是病理)和组学数据(genomic,transcriptomics等)结合在一起的联合分析方法。主要找到了以下几篇文章:
Pan-Cancer Integrative Histology-Genomic Analysis via Multimodal Deep Learning
发在了2022的
Cancer Cell上，一作Richard J. Chen，来自Faisal Mahmood组。
介绍
使用多模态深度学习进行泛癌症整合分析，结合组织病理学全切片图像（WSI）和分子特征（例如基因突变
MUT、拷贝数变化CNV、RNA测序数据RNA）来预测癌症的预后。数据
数据集来自TCGA（癌症基因组图谱），涵盖14种癌症类型，包括6592张WSI和5720个患者样本。
方法
- 多模态深度学习框架：
- 组织病理学图像处理：使用ResNet50预训练模型提取图像特征，并通过Attention-based Multiple Instance Learning (AMIL) 进行弱监督学习。
- 分子数据处理：采用自正则化网络（SNN）处理基因组和转录组特征（例如基因突变、拷贝数变化和RNA表达）。
- 多模态融合：通过Kronecker积捕获图像和分子特征间的交互，结合注意力机制优化预测。
- 模型评估：
- 使用C指数（c-Index）和动态AUC评估模型的预测性能。
- 与单模态模型（仅图像或仅分子数据）进行比较。
结果
- 模型表现：
- 多模态模型（MMF）在14种癌症中有12种表现优于单模态模型。
- 平均c-Index从单模态的0.585和0.607提升到多模态的0.645，显示了整合分析的优势。
- 特征重要性：
- 组织学贡献：某些癌症类型（如UCEC和PAAD）组织病理学特征贡献较大，而其他类型（如BRCA）主要由分子特征驱动。
- 免疫反应：模型揭示肿瘤浸润淋巴细胞（TILs）的分布与患者预后显著相关。
- 可解释性：
- 开发了名为PORPOISE的交互式平台，可视化特征重要性，包括局部（患者级别）和全局（癌症类型级别）的解释。
- 例如，热图显示低风险患者的高关注区域通常与更强的免疫细胞浸润相关，而高风险患者与高肿瘤级别相关。
代码
PORPOISE
mahmoodlab • Updated Jan 4, 2025
思考
- 是否可以使用Clip的思路将图像和分子特征关联起来？
- 空间转录组和空间蛋白组发展起来后，图像+Sequence的方法是否out-dated? 因为从直觉来看，空转的数据恐怕是更精确的