原标题： 如何调整深度神经网络来适应医学图像分析问题

来源：AI 研习社      链接：https://www.yanxishe.com/TextTranslation/1648

深度神经网络的热潮在过去几年席卷世界，它成功的应用在现在图像分析领域。神经网络经常是在”自然“图像上开发的；用常规的RGB相机拍摄的每天的图像。最近，深度神经网络已经适应并部署在检测医学图像异常上，如在X射线，CT和核磁共振扫描上取得很好的结果。然而这两个领域有一些关键的区别：医学图像经常包含定量的信息并且对象没有正则的方向。考虑到这些区别并且相应地调整算法可以极大改善性能。

深度神经网络的热潮在过去几年席卷世界，它成功的应用在现在图像分析领域。用于自动驾驶汽车的安全和行人检测的工具可以让世界更加安全并减少事故。另一个AI可以产生巨大正面影响地领域是在医学上。

即使问题是十分相似的，在图像分析上何在医学图像上的研究传统上是分开的。自然图像分析通常指类似目标检测，面部识别和3D重构这样的问题，使用有正常的RGB相机获得的图像。医学图像分析包括如从X光片中的疾病，核磁共振中的量化异常，CT中的器官分割等任务。

深度学习方法做分类是需要数据驱动的。在自然图像分析中，这个问题可以通过从社交媒体上挖掘大量照片来解决并可以让非专业人士通过众包进行注释 [1]。对于医学问题，数据通常更难获得并且打标签要求有经验的专家来做，这意味着通过深度学习方法来做好医学图像分析将花费更长的时间。结果，许多用于分类地算法都是以自然数据为原型再对医学问题作进一步调整。

在自然和医学数据中有几个关键的不同。最明显的是数据格式：自然图像一般是2（空间）维的RGB图像，而医学图像可以有任何形式，比如2维灰度，2维4通道，3维体积甚至是4维（体积随时间变化）的。然而，还有更多的微妙差别。考虑这些差异可以将性能向临床可用产品推进一步。

变化和不变性

深度神经网络生成一个数据的分层表示。如果这个做得很好，最终的表示将会是一个保留所有分类（或回归）任务的相关变化源的子空间，并且忽略其他东西，即对于无关源是不变的。例如如果我们想要从狗中识别出猫，我们应该看向变化源例如耳朵的形状，皮毛，尾巴的尺寸等，要产生关于一些因素如图像强度，朝向和动物尺寸的不变性。

传统计算机视觉系统中，人们花很长时间也很难想出这样复杂的图像处理算法来生成这样的图像映射。深度神经网络可以从训练数据中学习生成这样的表达式。节省了大量的工程工作。然而，为了学习到一个合适的映射，我们仍需要确定网络的结构和表示数据的方法，这事实上可以使模型忽略无关因素并且关注相关的部分。

强度的变化

对于大多数自然图像分类问题，图像的确切强度不是相关特征：一只猫是一只在曝光过度或曝光不足图像中的猫。传统解决办法中强度和饱和度通常被忽略并且特征是基于边缘或梯度的信息的：像素值之间的差异。

  左和右图强度上有很大变化。然而，如果我们想分类或检测图片中的猫，确切的强度不是很重要。

强度变化在第一个人脸识别系统中起作用。有Turk和Pentland [2] 提出的方法使用PCA来减少图像数据的维度，并且将它投影到一个更低维度的子空间中，这种“特征脸”接着被一个简单的“浅层”分类器用于分类。

“特征脸”用在早期人脸检测算法中。图像被PCA投影在一个更低维度的子空间中，接着被用于分类。为了让这个方法更好的工作，常见做法是忽略第一维或两维因为它们对应签读变化，与分类问题不相关。

因为强度经常是自然图像数据集中变化的最大源头之一，并且因为有PCA产生的子空间的维度通常有它们的变化排序，前几个维度通常表示强度。忽略这个将会让所有通道更好地工作。

因为深度神经网络从数据中学习所有这些转换，所以我们期待网络生成一个表达式，是对强度改变具有不变性的。当可视化深度卷积神经网络学习到什么的时候，我们经常可以看到前几个卷积层由边过滤器构成，类似于传统计算机视觉系统中的特征提取器，对绝对强度变化不响应。另外，像批量正则化技术通过移除一些本地强度改变也对产生强度不变的表达式有所贡献。

医疗图像中的强度

X光片是最古老和最常见的医疗图像技术，它通过发送电离辐射穿过身体部位并且计算未被组织吸收的光子数量来工作的。低剂量的光子代表致密组织，而大量的光子表示更加多孔区域。用一些估计方法，乳房X射线（其他可能的2维X射线图像）可以被转换成一种表示方法，其中像素表达近似的密度信息，用于定量估计乳房的体积密度，乳房体积密度是癌症的一个风险因素 [6]。

除了产生2D图像，X射线可以用于生产3维体积，CT扫描可以通过围绕感兴趣的身体部位旋转换能器和检测器并使用一些智能重建算法可产生这样的体积。因为X射线从各个角度发射，这将生成更将详细的表达形式并且有创建定量更直接更准确表达式方式的额外优点。

表示这个信息的常见的标度是Hounsfield标度 [7]。在这个标度种，空气的值是-1000，脂肪的值在[-90，130]之间，不同类型的骨头有不同的值，不同类型的血液有不同的值，等等。

与自然图像相反的是，对象的特征通常由相关像素强度的均值决定，医学图像中一个像素确切的值可以传达相关问题的信息。通过缩放或常用方法（例如批处理规范化）删除此信息可能会降低深度神经网络的性能。

如上面提到的，对于自然图像，确切的像素值通常不表示任何信息。对于医学图像，这是相反的：知道一个CT图像的确切的像素值将会跟我们关于组织的信息。删除此信息将有效删除可能与分类某些疾病或分割图像部分有关的数据部分。

当用医学图像训练或fine-tuning深度神经网络是考虑到这点是很重要的，预处理技术，如表真话应该不是问题，只要所有训练和测试数据中的样本服从相同的归一化常数。然而批量归一化层，如果缩放因子取决于批次而不是整个训练集，则可能会删除某些信息，并且已知会降低诸如CT等医学图像分析领域的性能。

位置的变化

当检测图片中的狗或猫时，它们的位置通常是不重要的：一只猫是否是猫与它是否在图片的左上角还是右下角没关系。相对位置可以给出线索。当在一个电视机旁边检测出一个猫科动物时，它更可能是一只家猫而非一只非洲猎豹。

  分类和检测之间通常是有区别的。在分类中，系统输入一张图片，输出一个标签。在检测中，模型同样输入一个图片，输出对象的位置。在自然图片中，对象的位置对于对象的标签来说通常是不起决定性作用的，即如果一个图片中的猫稍微向左移动一点，它仍是一只猫。对于医疗图像，他就可能是相反的：某种异常更可能发生在扫描中的某个特定位置。

在图像分析中，分类和检测之间通常存在差异。在第一种情况中，输入是一个图像，输出是是个标签。在检测中输入是一个图像，输出是一个带标签的位置信息。大多数用于分类的深度神经网络都具有一定的有最大池化层引入的平移不变性。然而，最后的特征匹配任然包含相对的信息：最后特征图的左上角和右上角像素分别对应于原始图像的左上部分和右上部分。

不论是传统的目标检测系统，如Viola-Jones人脸检测器还是更近的目标检测架构，如R-CNN [3] 和它的大多数变体都不会考虑到了位置的变化。这意味着用这些架构，明确的位置会丢失。

医学图像中的位置

就像强度和比例，位置可以一个医学图像中的一个区域特性的线索。肿瘤更可能出现在胸腔的某一部分；多发性硬化症（MS）病变最常出现在大脑的某些部位。考虑到这些信息可以提高性能。作用在医学数据上的检测器结构通常通过构造坐标系和计算相对于图像中地标的检测位置手动在模型中加入位置特征。

尺度的变化

如果我们想要从猫中区别出狗，它们在图片中的的大小是不重要的：一只猫不论是特写还是在远处都是一只猫。对于大多数计算机视觉应用都会遵循这个原则，因为目标距离相机的距离，例如相机参数通常不是标准化的。有一些细微的差别——如果皮毛的质地不清晰，猫看起来会有点像猎豹，尺寸可能成为判断的线索，但只有当周围元素可以用来估计尺寸的时候才成立。

图像与不同尺寸的高斯核做卷积。从左上角到右下角：sigma = 12, sigma = 6, sigma = 3, 原始图像。每个尺度对应不同尺寸的特征。取最大响应，我们可以生成对缩放不变的表示。 

尺度空间是多尺度图像（或一般分析信号）分析的框架。为了产生一个尺度空间，图像用一些带缩放参数的核函数做卷积。通过改变这些缩放参数，图片中不同的元素被强调。在一篇开创性的论文中，Koenderink [4] 展示了在一些合理的估算下，精简图片的最好的核函数是高斯函数

其中方差控制尺度。

很受欢迎的经典的方法例如SIFT(尺度变化特征转换）[5] 利用尺度空间的概念来做检测和图像中关注点的描述，并且对于尺度有不变性。在检测步骤中，卷积用于识别图像中突出的点。在描述步骤中，将这些点周围的小窗转化为特征向量。与最大池化操作相似，产生一些空间不变性，我们可以在尺度空间中用最大化操作来产生尺度不变性。

就像强度一样，给定一个丰富的数据集和正确的学习条件，如果问题需要的话，我们可以用深度学习网络来产生一个对于尺度不变的内部表达式。

医学影像中的尺度

尺度是另一种类型的定量信息，通常出现在医学图像分析中。比如说，X光片这种一个像素的尺寸通常会标在DICOM头部。知道异常占位像素的数量还有从头部获得的像素尺寸，我们可以计算图像中损伤的尺寸。

确切的尺寸可以当作一个重要的特征，比如说，在乳房X光片（胸部X射线图像）中，癌症不是尺度不变的：小癌症的尺寸在增长，不会导致现实的大肿瘤。

  与自然图像中的目标相反，医学上的异常通常是对尺度变化不变的。通过将一个小的早期肿瘤放大，我们不会得到上面图片中展示的肿瘤。通过尺度缩放除掉这个信息会降低深度神经网络的性能。

在目标检测架构中，比如R-CNN [3], 用一个候选检测器可以将感兴趣的区域从图像中提取出来，比如在感兴趣的区域周围选择性搜索并用边框框出。为了将这些输入深度神经网络中，方框被扭曲到一个固定的大小， 有效地移除形状和尺度信息。

受欢饮的目标检测架构，比如R-CNN用各向异性调整尺寸，将区域输入到分类CNN。这有效的除掉了任何关于目标的尺度和纵横比的定量的信息，这些信息在医疗图像分析问题中可以被当作重要特征

在之后的目标检测的meta-架构中，比如Fast和Faster R-CNN，这个操作被目标区域（ROI）池化代替，这是在特征空间中完成的，并且可能受到相同问题的影响较小。然而，这种类型的裁剪和大小调整是一种常见的操作，可以去除掉任何类型的关于异常尺寸大小的定量信息，这些信息可以作为医学问题中的重要特征

方位变化

与上述的变化来源相反，方向可能实际上与一些计算机视觉问题有关。现实世界中的大多数物体都有一些规范的方向：行人通常头放在上面，脚放在下面；汽车的轮子靠近地面。这在字符识别问题中更为重要，比如著名的MNIST数据集：将6个字符翻转180度将得到9个不同的类。

著名的MNIST中的类不是对旋转不变的：180度旋转将把a 6变为a 9，反之亦然。尽管在所有情况下类标签可能不会改变，但自然图像中的大多数对象并没有一个规范的方向：行人的头高于脚，汽车的轮子低于窗户。因此，模型不需要对方向保持不变。

深度神经网络和目标检测结构通常不学习方向不变的表示，除非训练数据需要它。

医学图像的定位

与自然图像相反，医学数据中的方向通常不是一个重要的特征，医学图像中的对象也没有规范的方向。例如，数字病理图像中的组织切片被放置在玻璃上，而没有预先确定的对齐方式。类似的情况也适用于胸部、胸部或脑部的肿瘤以及其他许多疾病。即使背景组织有一定的定向依赖性结构，但异常本身并不存在。

与自然图像中的物体相反，医学图像往往没有规范的方向。将CNNs的体系结构改为忽略方向性，可以提高性能。

与其改变我们的架构来考虑这种变化的来源，我们可以改变它来减少对它的影响。这是Cohen和Welling[9]在最近的一项工作中所做的，他引入了G-卷积，这是卷积算子的一个推广，它不仅对平移是等价的（意味着操作的输出行为是可预测的），而且对离散旋转和翻转操作也是等价的。该模型对各种医学图像分析问题都具有良好的性能。

结论

深度学习算法是很强大的工具，因为训练数据的较大的可用性，用常识为自然图像（图像用RGB相机拍摄的日常物品）开发的。最近，模型也被调整适应应用到医学图像分析中，像在X光片中检测癌症和在MRI扫描中分离组织。

与自然图像不同，医学图像通常包含可以是神经网络表现更好的定量的信息。一个像素的精确的强度，异常的尺度和它们在扫描中的位置都可以作为重要的线索。与自然图像分析相反，目标的朝向通常与医学图片分析问题无关。修改为自然图像开发设计的网络结构并且考虑到这些自然图像与医学图像的区别可以很大的改善算法的性能，拖动临床可行产品的开发。

一THE END一

免责声明：本文来自互联网新闻客户端自媒体，不代表本网的观点和立场。

合作及投稿邮箱：E-mail:editor@tusaishared.com