(WSI分类)WSI分类文献小综述

662 阅读3分钟

本文已参与「新人创作礼」活动,一起开启掘金创作之路。

今天介绍一些WSI分类的文献。涉及三种比较主要的技术:传统的特征分类,CNN和Transformer。

传统特征WSI分类

Classification of Tumor Histology via Morphometric Context 在这里插入图片描述 这个比较简单,主要利用细胞核的形态对WSI进行分类。用的是TCGA数据集。

Predicting non-small cell lung cancer prognosis by fully automated microscopic pathology image features 这个是NC的文章,很像影像组学,就是提取一堆特征,然后建模预后。评估非小细胞肺癌。

基于CNN的分类方法

Patch-based Convolutional Neural Network for Whole Slide Tissue Image Classification 这是CVPR的文章。 在这里插入图片描述 首先是对每个patch进行训练,然后将训练的预测结果构建一个灰度直方图,然后再用直方图训练一个分类模型。

Deep learning-based classification of mesothelioma improves prediction of patient outcom 这个是nature medicine的文章。 Deep learning-based classification of mesothelioma improves prediction of patient outcom 使用的也是对patch提取特征,然后构建特征矩阵,接着用CNN预测的路线。这种方法做的人还是比较少了。

Clinical-grade computational pathology using weakly supervised deep learning on whole slide images 这个也是nature medicine的文章,算是比较令人熟知的WSI分类文章之一。 在这里插入图片描述 原理也很简单,就是用CNN选择出概率值比较高的patch,然后使用RNN分类。效果很不错,从文中的报道看。

Whole slide images based cancer survival prediction using attention guided deep multiple instance learning networks MIA的文章,算是WSI分类做的比较早的MIA了。 在这里插入图片描述 他的想法比较有意思。整体上是多实例学习MIL。但他将多实例细化了。首先用无监督对patch进行聚类,然后将每一个类当成是一个包。也比较make sense.因为病理图像中可能多种不同的组织,聚类可以让组织的patch大致的聚集到一块。

DTFD-MIL: Double-Tier Feature Distillation Multiple Instance Learning for Histopathology Whole Slide Image Classification 这是CVPR2022的文章。 在这里插入图片描述 和上面的文章类似,也是分成多个包处理。但他的伪包是随机分配的。出发点就是WSI中的patch太多,一个包学不到足够的知识。所以分级处理多个包。

Dual-stream multiple instance learning network for whole slide image classification with self-supervised contrastive learning 这是CVPR2021的文章 在这里插入图片描述 看结构图就很一目了然,就是利用了多个分辨率的图像。获取了更多不同大小的视野。

基于Transformer的WSI分类模型

End-to-End diagnosis of breast biopsy images with transformers MIA 2022的文章 在这里插入图片描述 从结构图中也能看出,其实就是Transformer的魔改。

TransMIL: Transformer based Correlated Multiple Instance Learning for Whole Slide Image Classification NIPS2021的文章。算是比较有意思的WSI分类模型。 在这里插入图片描述 在这里插入图片描述 作者将每个patch作为一个词向量,输入Transformer,并且中间结合了卷积。效果很不错。 Data-efficient and weakly supervised computational pathology on whole-slide images 这个可能是现在follow最多的文章之一。CLAM。 在这里插入图片描述 就是patch级别特征的多实例学习。

Scaling Vision Transformers to Gigapixel Images via Hierarchical Self-Supervised Learning 这是CVPR2022的文章。值得一提的是这也是CLAM这个文章同一个单位出的。他们对病理图像有着很不错的研究,大杂志发了很多。 在这里插入图片描述 当时一看这个图,我就知道这个文章是怎么做的。简直make sense到不行。就是把小倍率的patch送入transformer,然后将他的class token一级一级的往上聚合。非常符合WSI的存储方式,也符合医生的阅片习惯。

今天就介绍这么多吧。