一类用于肺结节检测的深度学习加速方法

一类用于肺结节检测的深度学习加速方法

李正,胡贤良,梁克维∗,虞钉钉

(浙江大学数学科学学院,浙江杭州310027)

摘要:肺结节检测的深度学习方法一般分为候选结节检测和假阳性结节消除两个阶段.基于两阶段方法,提出了一种整合新数据以提升系统准确性的增量学习加速方案.利用历史数据的训练模型对新数据进行筛选,把表现性能不好的数据作为继续训练两阶段模型的输入.在LUNA16和TIANCHI17两个经典数据集上对上述方法进行测试,只需利用一半以下的新训练数据就能取得与传统两阶段方法相同的效果.关键词:肺结节检测;深度学习;两阶段方法;假阳性;增量学习中图分类号:TP391文献标识码:A文章编号:1000-4424(2018)02-0127-13

§1引言

深度学习在计算机视觉领域的突破,带动了其在医学图像处理方向的应用,尤其肺结节自动检测最近两年进展明显.现有算法方案主要是在给定数据集上训练算法,再将其应用到测试集上检验算法效果.在医学图像处理的实际任务中,待检测的数据量逐日增加,若采用传统的方法重新训练深度模型将耗时耗力.因此计算机辅助诊断系统应该具有动态性,不断地增加数据以提升测试准确率,这种能高效利用数据的深度学习方案具有关键性意义.

1.1病理学意义

近50年来,许多国家肺癌的发病率和死亡率均明显增高,男性肺癌发病率和死亡率均占所有恶性肿瘤的第一位,女性发病率和死亡率占第二位.在美国和中国,肺癌都是致死率最高的癌症之一.根据2016年的统计数据,2015年度中国约有429.2万癌症新发病例,281.4万癌症死亡病例.其中,肺癌以新发病例73.3万例(占整体17.1%),死亡病例61万例(占整体21.1%).根据美国癌症协会于2013年发布的统计数据,美国肺癌5年整体生存率为17%,早期肺癌5年生存率已达到60%-80%,因此,早期预防和诊断在挽救病人生命中起着至关重要的作用[1].肺癌是发病率和死亡率增长最快,对人群健康和生命威胁最大的恶性肿瘤之一.随着CT,核磁共振,超声等技术的普及,已经积累了大量可用的医学影像数据,如何利用这些数据进行早期诊断具有重要意义.

肺结节是指肺内直径小于或等于30mm的类似圆形或不规则形病灶,可单发或多发,边界清晰或不清晰,在影像学上表现为密度增高的阴影.临床上,医生需要对影像数据进行多个角度的

收稿日期:2018-03-23修回日期:2018-05-21*通讯作者:matlkw@zju.edu.cn

基金项目:国家自然科学基金面上项目(11471253)

128高校应用数学学报第33卷第2期

观察,利用肺内部正常纹理和非正常纹理的区别,进行人工的判别检测.但是这样的工作费时费力,效率很低,而且一般大于20mm的结节只有64%-82%是肺癌,5-20mm之间只有6%-28%是肺癌,小于1mm只有1%的可能[2].因此高灵敏的无创检测是大势所趋,采用计算机辅助诊断系统进行诊断十分有必要.

1.2研究方法综述

用传统方法进行肺结节检测有很多方法.基于手工方法的LoG(LaplacianofGaussian)算子方法[3],得到了很高的召回率(0.98左右),但是对候选结节的搜寻比较盲目,会导致大量的假阳性样本,因此准确率很低(约0.000005).这种方法在肺结节这种高度不平衡(结节远远少于正常)的数据集进行尝试是一个巨大的挑战,会导致很高的假阳性(将正常位置判断为结节).另一个具有代表性是[4]中的方法:首先基于规则的分类器用2D或者3D结构来判别是否属于正常结构,即使用带权k-means方法分割肺部结构,包括结节和主要由血管导致的非结节;然后用线性判别分析来减少假阳性的概率.在84%的灵敏度下,规则分类器作用明显,每个扫描图的平均假正结节数目从5.48减少为1.74.

在肺结节检测中,寻找结节需要识别三维特征,对数据进行预处理往往能取得更好的效果.图1为MeVisLab对数据进行可视化和一定程度的预处理得到的部分图像,经过预处理可以清晰地观察到肺部整体结构以及气管等微小结构,这更有利于对肺结节位置的进一步判断.但是这种工作需要较多的人工参与,因此在深度学习出现以前,都没能很好地投入实际医疗应用中[5].

随着深度学习在计算机视觉领域的巨大突破,以深度学习为主体的两阶段方法在有关肺结节检测的方法中占据了主导思路[3,6-8].所谓两阶段方法,第一步是使用一种被称为U-net[9]的深度网络进行结节筛选,获得很高召回率但准确率较低的疑似结节;再用残差网(ResNet)等判别网络对候选结节训练,得到真正结节的概率.

其中U-net和ResNet[10]都是具有代表性的深度卷积网络.2D-Unet的分割网络在结节分割时无法考虑空间特征,只能从切片特征中提取二维信息,这势必会导致提取到的候选结节空间特征缺失.为了更好地利用结节信息,文献[11]提出了一种基于三维卷积核做医学图像分割的3D-Unet结构.2017年的Kaggle2017NationalDataScienceBowl比赛第二名获得者[12-13]就是采用了基于三维卷积核的解决方案.

两阶段方法在实际应用中仍然存在的一些问题,例如需要对候选结节提取效果进行评估,提取过程中会出现结节信息丢失,冗余等现象,这使得整个检测过程难以控制,而且训练周期漫长.为了省略中间评估过程加速训练,文献[14]提出了一种端到端的训练方法,这种方法将重建和检测网络结合在一起训练以提高训练速度.两阶段方法给出了更少的整体噪声,但很多细节被平滑掉;端到端方法则更注重肺部的边缘和组织的捕获.

上述方法针对特定任务都取得一定的效果,注意到在实际的医疗检测中,新获取的数据往往与训练集数据有较大差异,如何快速的结合已有的训练模型对新数据产生更好的判别效果一直是计算机辅助诊断系统面临的难题.本文结合上述方法对这一任务进行尝试,并取得较为满意的效果.

§2快速肺结节检测方法

一般的肺结节诊断分为四个步骤:数据预处理,疑似结节候选集提取,候选集假正筛选并给

李正等:一类用于肺结节检测的深度学习加速方法129

(a)(b)(c)(d)(e)(f)(g)(h)图1(a),(e)为原始数据;(b)为阶段阈值处理后图像,(f)为对应的三视图;(c)为经过区域生长以及抽取连通分支处理的肺部区域,(g)为提取肺部区域对应得到的三视图;(d)为经过小分支阈值处理后的气管分支,(h)为对应三视图出结节概率,算法评估.为了能够利用新数据,本文提出用训练好的模型先对新数据做一次预测,然后评估计算结果,挑出表现不好的结节重新训练.具体流程可参看图2.2.1数据预处理扫描图像是一个三维的数据矩阵,为了将数据矩阵中像素点的相对位置和现实世界中的距离进行关联,建立了两种坐标体系,一种称为像素坐标,记录像素点在矩阵中位置,另一种是世界坐标,记录像素点反映在人体中现实世界的距离.肺的扫描数据可能来自不同医院,因而使用的医疗设备的扫描参数可能会有较大不同,一个显著的特点是在各个方向的扫描间距不同.为了统一数据,利用扫描文件(dicom,mhd/raw格式)头文件中包含的图像形状(shape),扫描间距(spacing),起点坐标(origin)等信息将切片各方向扫描间距统一处理为现实世界的1mm,同时将xy方向的切片统一处理(填充或者裁剪)为512×512.预处理数据中需要用的几个概念:像素坐标(voxelcoord),世界坐标(worldcoord),起始的世界坐标(origin),扫描间距(spacing),世界坐标间隔(像素坐标所反映的距离起点的世界距离stretchedvoxelcoord)之间满足如下关系:世界坐标−起点坐标像素坐标=.(1)扫描间距世界坐标间隔=像素坐标×扫描间距+起点坐标.(2)扫描间距×图像形状=新扫描间距×新形状.(3)按照扫描间距算出每个维度的缩放因子,再等比例空间插值就得到各方向扫描间距一致新图像,然后将新图像的xy方向处理为标准尺寸512×512,最后根据像素坐标校正起点的世界坐标,就得到最终预处理后的图像信息,图像具体参数的变化可参考表1,以TIANCHI17[15]的数据集为例LKDS-00959.2.2候选集筛选130高校应用数学学报第33卷第2期

图2两阶段方法肺结节检测算法以及增量加速方案示意图,其中检测的每个阶段用深色标出表1以TIANCHI17数据LKDS-00959为例说明预处理前后的扫描图片信息的变化形状(512,512,625)(360,360,625)(-76,-76,0)起点坐标(世界坐标)(-188.648,-304.148,-83.6)(-264.648,-380.148,-83.6)世界坐标间隔间距(0.703125,0.703125,1.)(1.,1.,1.)(-76,-76,0)LKDS-00959原始数据(old)预处理后(new)新的起点(像素坐标)进行候选集筛选的主要目的是找到尽可能多的疑似结节.具体步骤如下:按照标记信息中已知的结节位置和半径,在三维图中画出相应的球,得到肺结节的三维标记图,选取至少有一个像素是结节的那些切片作为深度卷积神经网络的训练集.当然,每个数据因为结节数目和半径不同,所挑选出参与训练的切片数目也各有不同.表2列出了每个数据子集中的各个数据集中每个数据使用的切片数目信息,最少的情况一个肺只用到了3个切片,而多一些则可能用到了70个.使用CT扫描图的xy平面,按照z轴采样切片,等距间隔为1mm每个体素.直接将Unet原文[9]中的结构应用于肺结节数据会导致一定程度的过拟合,为此本文对Unet网络进行了部分改进.首先,在该结构中加入了批量正则化(BatchNormalization,yi=BNγ,β(xi)).如果批量尺寸很小,一般意义上的批量正则化会导致异常的行为.为了克服这个问题,固定正则化因子γ=0.3.同时,在全卷积网络中加入随机丢弃(Dropout)通常产生一定的效果,但是实验发现加入Dropout后,过拟合现象仍会发生.查找发现,文献[16]中提到了一种李正等:一类用于肺结节检测的深度学习加速方法131

表2用于Unet训练的各子集的切片数目以及子集中每个肺部数据的切片数目分布(总样本数目N,含有结节的样本数目num,含有结节的样本所含结节切片的均值avg,最大数目max,最小数目min,总数目sum)

子集Nnumavgmaxminsum

0896713.2353885

1896116.65431016

2895618.56031036

3896514.4493938

4896215.6703972

5895414.7703798

6896314.8704935

7895414.1464763

8886018.25931094

9885913.8464819

有效的方法:空间Dropout,也称为特征Dropout.它采用随机丢弃整个特征图的方式来代替单个激活层,这在类似Unet这种全卷积网络中很有意义,因为丢弃结果类似于丢弃中间层图片表示的随机像素.因此,另外加入了空间Dropout.

另一方面,表2切片中只有极小的一块区域是结节区域,类别不平衡现象非常明显,需要对目标损失函数进行权重修正:

N×N󰀁󰀁󰀁

Loss=qilogpi=wiqilogpi+wjqjlogpj,(4)

i=1

i∈Ci

j∈Cj

C|C|

其中wi=||C,wj=||C,|C|=|Ci|+|Cj|,|C|指图像中总的像素数目,|Ci|,|Cj|分别指正负类i|j|别的像素数目,pi表示预测是正类的概率,qi表示真实标注信息.权重的调整主要根据实际标注信息(GroundTruth)来计算.

2.3候选集合并

候选集主要通过Unet的概率图输出得到,用形态学腐蚀的方法进行预处理,再提取联通分支,最后通过空间信息进行候选结节位置合并以及标记.分为两个步骤:1)距离合并

因为候选集(结节位置)是在二维环境下获取的,因此在大部分情况下可以发现候选集在第三个维度可能很相近.为了减少候选集的数量,使用基于距离的方法对UNet的结果进行合并.如果几个切片的候选集位置很相近,那么用他们均值来代替,只取一个候选集.2)TP,FP合并

距离合并后可以根据标记文件中获得的真实结节位置给出每个候选集的标签.如果候选点距离所有标记结节都很远,那么丢弃该候选点.在半径以内的那些候选点通过均值(提取重心)的方式融合成一个候选点.另外丢弃掉在半径以外而且距离结节中心30mm以内的那些候选点.这一步在对数据进行测试时无需进行.

2.4

减少假阳性结节

在得到候选集之后,为了判定到底哪些真正属于结节(理论上越靠近标记中心越有可能),需要对候选集进行判断.例如LUNA16[8]比赛的第二个任务就是“FalsePositiveReduction”,官方给出的训练数据是一个真实结节(TP):假阳性结节(FP)=0.15万:74.85万=1:500的数据.由此可见,这是一个严重类别不平衡的数据集,类别不平衡会使得训练难度增加.

在本文的结节检测任务中略有不同,候选集由训练Unet的网络对预留的测试集进行预测得到.全卷积深度网络的输出是原图像的一个预测概率图([0,1]的概率转化为像素值[0,255]保存下来),选择不同的阈值进行处理可以得到不同数量和比例的正负样本(TP和FP两类).为了减少

132高校应用数学学报第33卷第2期

类别不平衡的影响,本文中阈值的选取需要在真正结节数量尽可能多和正负样本比例尽可能均衡之间权衡.

实际训练中,根据结节的半径分布情况选取最大半径(LUNA16中选取32mm),在肺的每个候选位置分别沿着xy,xz,yz三个方向以最大半径截取正方形切片(对应到均等切片间距的预处理图片后得到的图像尺寸为64*64像素).然后将三个方向的数据分别送入网络,输出时取三个数据的均值作为每一个的输出.这种取平均值的集成方式,具有正则化的效果,可以看成三个方向的拥有绑定权重的独立网络.图3中分别显示了相同病人不同部位的TP和FP三个方向的切片以及随机选取不同病人的TP和FP切片的一些特征[17].减少假阳性结节的方法本质上是训练深度网络对这两种情况进行判别.

图3候选点附近三个正交方向的像素场景.同一行的三幅图分别代表(xy,xz,yz)三个方向的切片.左侧(a),(b)和(c),(d)分别是两个病人的TP(真正结节位置(a),(c))和FP(误判为结节的位置(b),(d))的场景.右侧为subset9中随机选取的不同病人的候选点,(e)代表TP,从上到下每三幅图呈现一个特征,这里列出了孤立,不明显,贴边三种特征,对应(f)图FP则有扁长,不明显,贴边三种特征2.5增量学习加速方案文献[18]提出的主动增量学习ActiveIncrementalFine-Tuning(AIFT)方法,将主动学习和迁移学习融合在一个框架中,使达到同样效果的标记数据量减少一半以上.本文借鉴了这种做法,并首次将其应用于两阶段方法中.具体思路为:先用历史数据训练得到一个性能稳定的模型,再用AIFT同时挑出历史数据和新数据中难以训练的样本,组成新的训练集,在原模型基础上继续训练.李正等:一类用于肺结节检测的深度学习加速方法133

本文使用AIFT方法对新数据进行候选集筛选,考虑候选样本U={C1,C2,···,Cn},利用深度学习正则化的思想对每个样本进行数据增强(拉伸,旋转,裁剪等),将一个数据变换成m个数

2m

据块(Patch)Ci={x1i,xi,···,xi}.再利用深度学习预训练好的模型在每一个Patch上进行预测,预测结果记为pji.如果是多分类问题,则每一个Patch有可能对应多个数据标签,这里假设最多有|Y|个标签,在每个类上的预测概率为pj,ki.实际计算中,深度学习对预测数据的类别发生误判的情况通常发生在预测概率在0.4-0.6之间时,因为单纯就预测概率本身已无法判定类别,为了对这种无法衡量的程度进行量化,定义Patch的熵为:

|Y|󰀁jj,k

ei=pj,k(5)ilogpi,

k=1

另一方面,理论上来自同一数据的不同形态,其预测结果应该都相似(或者说两两相似),从相似

的角度定义一个指标来衡量模型在该候选数据上的表现,进一步决定是否参与下一轮训练.借鉴互信息(KL散度)的概念,定义两个Patch之间的差异散度为:

di(j,l)=

|Y|󰀁k=1

(pj,ki

−

pl,ki)log

pj,kipj,ki

.(6)

用下式定义的ai对每个候选数据中要利用的Patch进行类别偏向选择,如果ai<0.5,则优先

选择概率较小的数据块,否则优先选择概率较大的Patch:

m1󰀁j

p,(7)ai=

mj=1i综合考虑预测结果的数值大小(熵)和不同Patch的差异散度[19]可以得到如下矩阵:

󰀂λ1ej若j=1,i,

Ri(j,l)==

λ2di(j,l),其他情况.

(8)

其中,用λ1和λ2来权衡熵和散度.最后用该矩阵中所有元素的和来最后决定候选集Ci是否是否参与下一轮训练:

m󰀁m󰀁Ai=Ri(j,l).(9)

j=1l=1

深度学习训练效果在有些情况仍不理想的解释是陷入了某种局部最优,按照数据驱动的思

想,即训练数据中有一部分噪声数据阻碍模型走向全局最优,本文认为由部分最优到全局最优的跳跃需要利用新数据,同样也需要利用训练集中一些训练表现不好的数据.考虑医疗系统实际情况,会不断有新增数据的加入,为了更好的综合历史数据和新增数据,本文采用多轮继续训练的方案,按照图4,利用已经训练好的模型结合AIFT筛选规则同时对新数据和历史数据进行筛选,得到精选数据集后重新训练.

§3实验和结果

3.1

数据说明

在本文的实验部分,主要使用了两份数据集,一份来自国际权威肺结节检测大赛LUNA16比赛888份数据,另一份则来自2017年初在阿里云的天池大数据竞赛初赛中提供的800份数据.LUNA16比赛所使用的LIDC-IDRI数据库包含总共1018张CT图,由四个经验丰富的放射科医生

134高校应用数学学报第33卷第2期

图4多轮继续训练示意图标注在xml格式的文件中.数据库的数据各有不同来自7家不同的医院的临床剂量和低剂量,扫描所用的参数和模型也各不相同.薄的切片常常更有意义,因此丢弃厚度大于3mm的扫描图,同时去掉切片间距不一致或者切片缺失的扫描图,最终得到888张扫描图片.阿里云天池医疗AI大赛由零氪科技联合16家全国知名医院为大赛提供了目前全球最大规模的2000份“科研级胸部CT数据集”.由阿里云和零氪共同开发算法进行脱敏处理.两个比赛提供的数据文件大致相同,都包括三维的肺部扫描图以及结节位置的标注信息:1)病人CT文件,每个病人有一份.mhd和一份.raw,里面包含单个病人的体素值和一些病人相关信息,比如说体素坐标原点,层距等(python中可用SimpleITK包读取数据);2)一份annotations.csv,内含病人ID,结节三维质心世界坐标,损伤最大程度的截面中的结节最长直径;令LUNA16数据集为历史数据,将其分成10个子集,具体信息可参看表2,用5折交叉验证进行训练,然后利用天池初赛的800个肺部扫描图作为新数据.将新数据分成两部分,选取其中600个继续训练模型,200个进行算法验证.两份数据结节大小的分布如图5所示,也可以观察到两份数据的结节分布趋势大致相似,这也为算法在上述数据集上的应用提供了一定的依据,因为如果两个数据集差异非常大,将一个数据集上训练好的模型应用到另一个完全不同的数据上,显然效果会不好.3.2参数以及深度学习技巧1)数据增强数据增强可以作为正则化技巧用以防止过拟合.本文使用的增强方式包括裁剪,翻转,旋转等,同时还使用了时间限制.2)学习率的设定在合适的情况下降低学习率能有助于跳出反复波动的情况而进入局部极小,本文按照残差网原作者论文[10,20]中提出的方案分别在80和125代减少0.9.而对于Unet这里采用更简单的模式,如果连续6代loss损失没有改善,那么下降0.9.3)集成提升李正等:一类用于肺结节检测的深度学习加速方法135

图5单位患者CT影像中直径为3-30mm的结节半径的分布多模型集成(Ensemble)作为后处理.结节精检测采用三种模型分别预测候选结节概率,并根据模型间权重比例给出最终概率的方法.主要优势在于,负样本经历由易至难的学习过程,分割网络和后续假阳性衰减网络相辅相成.多结构类型的模型集成,且单一网络性能良好,类似于多个医生独立阅片的过程,综合给出阅片结果.3.3整体效果评估1)Unet分割结果这里采用5折交叉验证,每次对两个子集进行预测.这样最终的候选集的选取有0.00509的准确率和0.95946的召回率.从图6可以看出,随着迭代次数的逐渐增加,切片上被认为是结节的(a)图6(b)(c)(d)(e)Unet的预测效果,从左到右分别是切片原图,unet训练50,100,150,200代的预测结果区域数量逐渐减少,结节的边界处出现一些明显的硬边缘.同时按照如下公式计算可以得到不同迭代次数的Unet在各个验证子集上的可以看出准确率和召回率随着迭代次数的变化.选择50代Unet训练的最佳迭代次数.2)合并结果分析以TIANCHI17的数据LKDS-00351为例,分析合并效果,从下表可以看到,采用2mm作为半径进行合并,找到的候选位置与真实结节位置非常相近,所以距离合并非常有必要.136高校应用数学学报第33卷第2期

表3

Epoch50100

指标准确率召回率准确率召回率

00.00190.81420.00160.4783

使用五折(CV5)交叉验证的方法在测试集上的分割效果验证

20.00230.92890.00230.7413

30.00210.92540.00210.7657

40.00180.91870.00150.3974

50.00170.93280.00110.3826

60.00160.8730.00120.3906

70.00190.90980.00190.403

80.00260.82530.00220.8204

90.00260.86590.00220.8318

10.00220.8290.00170.4607

表4距离合并效果,以结节个数较多的LKDS-00351数据为例,采用2mm作为合并半径比5mm作为合并半径效果好很多

考察数据真实位置

123455mm123452mm12345

LKDS-00351

xyz-50.7610973-103.099343-125.300001-124.001973-157.307697-35.0000022-111.24262-148.004961-7.7000026150.10590385-69.012273437.79999661-34.4464869-121.74068469.99999607

5mm合并最靠近候选点位置

-46.153082-110.653103-120.453847-122.486376-147.986417-41.8643895-94.653057-140.6530880.18347303956.84686486-68.6531248-48.8723666-27.1530918-115.653101-77.9054145

2mm合并最靠近候选点位置

-50.8662022-104.112398-124.958975-124.739248-158.273768-34.8564124-117.605631-148.892642-15.834760346.11382135-68.319865736.72506786-36.1530872-127.65309473.26666268

半径

5.2237315495.61154556915.8131539523.3041244110.83168804

距离101.209032136.1537253383.3488133169.5971825145.9407228

距离

1.1545518542.189591278108.00324517.5076819950.74620236

3)残差网训练

为了消除假正样本提高准确率,使用深度学习的进行判别二分类.这里选用残差块深度为5,宽度为6的Wide-ResNet[21].按照2.4节的描述,不同的阈值得到的候选点(残差网训练数据)的正负比例差别较大,这里对比了两套方案,一种为使真阳性样本尽可能多,阈值选取为30,此时正负比例为1:200左右;另一种是折中方案,真阳性尽可能多而比例也尽量平衡,阈值选取为225,此时正负比例为1:3左右.两种方案训练过程图7所示,从图中可以看出阈值为225时训练效果更好.4)FROC指标

FROC是针对实际数据的分布对ROC模型的一种修正.横轴(假正例率)用FP/m(即每个扫描图的平均假正数目)修正,对纵轴(真正例率,灵敏度)用TP/n(即测试扫描图中找到的真正结节的比例)修正.这里n是相关的结节位置总数,m是测试集实际结节总数.LUNA16和TIANCHI17的判别标准一致,如果结节落在以参考标准为中心半径为R的球体中,则认为检测正确.如果检测到小于3mm的结节,则既不认为是错误检测也不认为是正确检测,最终的评测结果都是取FROC曲线上7个点数据点的均值(AverageFROCscore).用天池数据的验证集中的200个数据作为测试集,用LUNA16的数据作为历史数据,残差网训练243代,在验证集上表现最好.其中采用三种方案进行对比:

1)混合训练:将历史数据和新数据混合在一起,从头开始训练;

李正等:一类用于肺结节检测的深度学习加速方法137

图7残差网分别用不同阈值得到的候选集上的训练效果,阈值为225时,类别比例为1:3左右;阈值为30时,类别比例为1:200左右,从loss曲线的稳定值也可以看出,所有的Loss初始值都相差不大,但不平衡数据集(阈值为30时)的目标函数稳定的值更大,这很可能是模型无法很好的适应不平衡数据造成的.2)普通增量学习:利用残差网243代的模型,在新数据集上接续训练;3)快速增量学习:先用AIFT方法挑选出更有价值的候选集,再利用残差网243代的模型接续训练;(a)(b)图8a)历史数据集训练模型以及三种方案在测试集上表现结果对比,表现最好的是混合训练方案,但这种方案需要从头训练,代价也最大;对比是否筛选数据的接续训练方案,虽然整体而言不筛选在评测结果上略占优势,但筛选方案在小的平均假正率上的灵敏度表现明显优于不筛选方案而且训练代价更小,这再一次说明了筛选具有重要意义;b)为两种接续训练方案随迭代次数增加在测试集上的表现,从趋势线可以看出AIFT筛选方案数据量不到不筛选方案的1/2但其训练性能提升却更加稳定.上述方案的训练模型在测试集上的表现如图8a所示,对比三种方案,混合训练性能最好,但其训练需要从头开始训练,代价很大.快速增量的方案使用数据不超过普通增量学习的1/2,但得到模型的性能与普通增量学习方案相差无几.数据量的减少导致训练速度有较大提高,本文作者采用NVIDIAGTX1080Ti11GBGPU进行训练,混合训练迭代一轮需要227s,普通增量训练需要102s,而采用快速增量方法只需1分钟不到.同时,从图8b中的趋势线也可以看出其整个训练138高校应用数学学报第33卷第2期

过程比普通增量学习性能提升更加稳定.这些都说明了本文提出的快速增量学习具有重要意义.

§4结论

本文展示了一种增量学习方案,能有效地加速肺结节诊断的两阶段方法.利用LUNA16数据作为历史数据的训练得到一个性能较好的模型.两阶段方法中先用Unet进行候选集检测,再结合距离和标签进行合并,最后利用残差网做假正修正.在此基础上,把TIANCHI17数据作为新增数据,使用AIFT方法对新增数据进行筛选.本文的实验结果表明:只需1/2左右的新数据,就可以达到用全部数据进行训练的近似效果.从稳定性的角度来看,本文的方案比不筛选数据的方法略优.

参考文献:

[1][2][3][4]

张巧丽,赵地,迟学斌.基于深度学习的医学影像诊断综述[J].计算机科学,2017(s2):1-7.ChenWanqing,ZhengRongshou,BaadePD,etal.CancerstatisticsinChina,2015[J].CaACancerJournalforClinicians,2016,66(2):115.

MoiraBerens,RobbertvanderGugten,etal.ZNET-LungNoduleDetection[DB/OL].https://www.github.com/gzuidhof/LUNA16/,2016.

GurcanMN,SahinerB,PetrickN,etal.Lungnoduledetectiononthoraciccomputedto-mographyimages:Preliminaryevaluationofacomputer-aideddiagnosissystem[J].Medical[5]

Physics,2002,29(11):2552-2558.FirminoM,MoraisAH,Mendo¸caRM,etal.Computer-aideddetectionsystemforlungcan-cerincomputedtomographyscans:reviewandfutureprospects[J].BiomedicalEngineering[6]

Online,2014,13(1):41.

SetioAAA,TraversoA,BelT,etal.Validation,comparison,andcombinationofalgorithmsforautomaticdetectionofpulmonarynodulesincomputedtomographyimages:theluna16[7]

challenge[Z].arXivpreprintarXiv:1612.08012.CoRR,2016.

SetioAA,CiompiF,LitjensG,etal.PulmonarynoduledetectioninCTimages:falseposi-tivereductionusingmulti-viewconvolutionalnetworks[J].TransactionsonMedicalImaging.[8][9]

IEEE,2016,35(5):1160.

LUNA(LUngNoduleAnalysis)16-ISBI2016Challenge[DB/OL].https://LUNA16.grand-challenge.org/.

RonnebergerO,FischerP,BroxT.U-net:Convolutionalnetworksforbiomedicalimageseg-mentation[A].InternationalConferenceonMedicalimagecomputingandcomputer-assistedintervention[C].Cham:Springer,2015,234-241.

[10]HeKaiming,ZhangXianyu,RenShaoqing,etal.IdentityMappingsinDeepResidualNetworks[A],EuropeanConferenceonComputerVision[C].Cham:Springer,2016:630-645.[11]AbdulkadirA,LienkampSS,etal.3DU-net:learningdensevolumetricsegmentationfrom

sparseannotation[A].InternationalConferenceonMedicalImageComputingandComputer-AssistedIntervention[C].Cham:Springer,2016,424-432.

[12]JuliandeWitandDanielHammack.2ndplacesolutionforthe2017nationaldatasicencebowl[DB/OL].http://juliandewit.github.io/kaggle-ndsb2017/,2017.Accessed:2017-10-25.[13]Kaggle17,DataScienceBowl2017[DB/OL].https://www.kaggle.com/c/data-science-bowl-2017#tutorial/.

李正等:一类用于肺结节检测的深度学习加速方法139

[14]WuDufan,KyungsangKim,DongBin,etal.End-to-endabnormalitydetectioninmedicalimaging.arXivpreprintarXiv:1711.02074,CoRR,2017.[15]天池医疗AI大赛:肺部结节智能诊断[DB/OL].

https://TIANCHI.aliyun.com/competition/introduction.htm?

spm=5176.100066.0.0.334cd780jWtEiJ&raceId=231601/.

[16]TompsonJ,GoroshinR,JainA,etal.Efficientobjectlocalizationusingconvolutional

Networks.IEEEConferenceonComputerVisionandPatternRecognition(CVPR),2015:648-656.

[17]常娜,李云,陈清亮,等.孤立性肺结节的CT诊断研究进展[J].罕少疾病杂志,2011,18(1):52-55.

[18]ZhouZongwei,ShinJae,ZhangLei,etal.Fine-tuningconvolutionalneuralnetworksfor

biomedicalimageanalysis:activelyandincrementally[A].IEEEConferenceonComputerVisionandPatternRecognition(CVPR),2017:4761-4772.

[19]ChakrabortyS,NallureBalasubramanianV,SunQ,etal.Activebatchselectionviaconvex

relaxationswithguaranteedsolutionbounds[J].IEEETransPatternAnalMachIntell,2015,37(10):1945-1958.

[20]HeKaiming,ZhangXianyu,RenShaoqing,etal.Deepresiduallearningforimagerecog-nition[A].IEEEConferenceonComputerVisionandPatternRecognition(CVPR),2016:770-778.

[21]SergeyZagoruykoandNikosKomodakis.Wideresidualnetworks.ProceedingsoftheBritish

MachineVisionConference(BMVC),2016:87.1-87.12.

Akindofdeeplearningaccelerationmethodforpulmonarynodule

detection

LIZheng,

HUXian-liang,

LIANGKe-wei,

YUDing-ding

(SchoolofMathematicalSciences,ZhejiangUniversity,Hangzhou310027,China)

Abstract:Thedeeplearningmethodforpulmonarynoduledetectionisgenerallydividedintotwostages:candidatenoduledetectionandfalsepositivenoduleelimination.Basedonthetwo-stagemethod,anincrementallearningaccelerationschemeisproposedthatintegratesnewdatatoimprovetheaccuracyofthesystem.Thetrainingmodelofhistoricaldatascreensnewdataandselectsthedatawithpoorperformanceasaninputforthecontinuoustrainingofthetwo-stagemodel.TheabovemethodsaretestedonLUNA16andTIANCHI17twoclassicdatasets.Usingonlyhalfofthenewones,thenewmodelcanachievethesameeffectasthetraditionaltwo-stagemethod.

Keywords:pulmonarynoduledetection;deeplearning;two-stagemethod;falsepositives;incre-mentallearning

MRSubjectClassification:68U10