(12)发明专利申请
(10)申请公布号 CN 110458846 A(43)申请公布日 2019.11.15
(21)申请号 201910567031.8(22)申请日 2019.06.27
(71)申请人 清华大学
地址 100084 北京市海淀区100084信箱82
分箱清华大学专利办公室(72)发明人 江瑞 池宇杰
(74)专利代理机构 北京鸿元知识产权代理有限
公司 11327
代理人 张超艳 金庆军(51)Int.Cl.
G06T 7/11(2017.01)G06T 7/136(2017.01)G06T 7/66(2017.01)
权利要求书2页 说明书6页 附图1页
(54)发明名称
基于图路径搜索和深度学习的细胞图像分割方法(57)摘要
本发明属于生物医学和计算机图像处理技术领域，公开了一种基于图路径搜索和深度学习的细胞图像分割方法，包括采用经过训练的U-net预测模型，进行以下步骤：预测阶段，把待分割的细胞图像输入经过训练的U-net预测模型，预测出待分割细胞的距离图；标注细胞中心，以局部像素值最大的像素点作为细胞中心；搜索路径，搜索两个相邻细胞中心的多条路径，提取路径点的像素值；进行判断，以搜索路径上每个路径点的像素值与细胞中心像素值对比判断两个细胞中心是否属于不同细胞，若不是则进行其他两个相邻细胞中心之间的路径搜索，若是则进入分割处理，重复搜索直至全部搜索完成。本发明可以实现对细胞图像中的粘连细胞进行较好的区分和分割。
CN 110458846 ACN 110458846 A
权 利 要 求 书
1/2页
1.一种基于图路径搜索和深度学习的细胞图像分割方法，其特征在于，包括采用经过训练的U-net预测模型，进行以下步骤：
预测阶段，包括把待分割的细胞图像输入经过训练的U-net预测模型，预测出待分割细胞的距离图；
标注细胞中心，包括找出待分割的细胞图像中所有的局部像素值最大的像素点，在预测出的距离图上对应标注为细胞中心；
路径搜索，包括对采用图路径搜索方式在待分割细胞的距离图上成功搜索两个相邻细胞中心的多条路径，提取路径点的像素值；
进行判断，包括以搜索路径上每个路径点的像素值与细胞中心像素值对比判断两个相邻细胞中心是否属于不同细胞，若两个相邻细胞中心属于同一细胞则回到路径搜索步骤搜索其他相邻细胞中心的多条路径，若两个相邻细胞中心属于不同细胞则进入分割处理；
分割处理，包括对认定为属于不同细胞的进行分割，回到路径搜索对其他相邻细胞中心进行搜索，直至完成距离图上的全部相邻细胞中心的路径搜索后停止，得到全部细胞分割图像。
2.根据权利要求1所述的基于图路径搜索和深度学习的细胞图像分割方法，其特征在于，所述U-net预测模型的通过以下步骤得到：
图像预处理，包括将已标注出不同细胞的细胞掩膜图像生成细胞的距离图，在细胞的距离图中，属于细胞的像素点的像素值为该像素点到距离最近的非该细胞像素点的曼哈顿距离，不属于任何细胞的像素点的像素值为零；
训练阶段，包括指定一个U-net训练损失函数，将图像预处理生成的距离图和对应的已标注出不同细胞的细胞图像输入U-net进行充分训练得到U-net预测模型。
3.根据权利要求2所述的基于图路径搜索和深度学习的细胞图像分割方法，其特征在于，在训练阶段，指定Binary Crossentropy函数作为U-net训练的损失函数。
4.根据权利要求2所述的基于图路径搜索和深度学习的细胞图像分割方法，其特征在于，在训练阶段，当损失函数的数值不再下降时，U-net训练完成。
5.根据权利要求2所述的基于图路径搜索和深度学习的细胞图像分割方法，其特征在于，在训练阶段，采用Adam优化器进行U-net训练。
6.根据权利要求2所述的基于图路径搜索和深度学习的细胞图像分割方法，其特征在于，当已标注出不同细胞的细胞图像及对应的细胞掩膜图像大于256*256像素时，在图像预处理前，都裁剪成多块256*256像素大小。
7.根据权利要求1所述的基于图路径搜索和深度学习的细胞图像分割方法，其特征在于，在标注细胞中心时，以像素值高于八个相邻点的像素点作为局部像素值最大的像素点。
8.根据权利要求1所述的基于图路径搜索和深度学习的细胞图像分割方法，其特征在于，在路径搜索时，当搜索的当前路径的路径损失大于第一阈值或者路径长度大于第二阈值时，重新开始其他路径的搜索；当由一个细胞中心开始沿一条路径搜索成功到达另一个细胞中心时，则本条路径搜索成功。
9.根据权利要求1所述的基于图路径搜索和深度学习的细胞图像分割方法，其特征在于，在进行判断时，当各条路径中的最小像素点与细胞中心像素点的差值都大于第三阈值，则判断两个细胞中心属于不同细胞。
2
CN 110458846 A
权 利 要 求 书
2/2页
10.根据权利要求1-9任意一项所述的基于图路径搜索和深度学习的细胞图像分割方法，其特征在于，在分割处理时，采用watershed水域分割法对不同细胞进行分割。
3
CN 110458846 A
说 明 书
基于图路径搜索和深度学习的细胞图像分割方法
1/6页
技术领域
[0001]本发明属于生物医学和计算机图像处理技术领域，具体涉及一种基于图路径搜索和深度学习的细胞图像分割方法。
背景技术
[0002]细胞图像的自动分割在医学影像分析上有十分重要的意义，对细胞的病理图像正确进行分割，可以帮助医生或者研究人员识别每个细胞，研究其大小、颜色、形态等表型特征，据此找出与基因、疾病等特征的关系，有利于研究人员测量细胞对化学物质或在某些生物过程中的反应，从而促进药物研发，缩短新药的上市时间。[0003]近几年，随着对深度学习网络的不断深入研究，其在细胞图像分割中的应用越来越多。用于细胞图像分割的深度学习方法主要有两种类型：一是以U-net为代表的语义分割；二是以Mask R-CNN为代表的实例分割。对于细胞图像的分割，我们往往希望可以正确识别图像中的每一个细胞，对于边界有粘连或者轻微重叠的细胞图像，就需要用一定方法将细胞图像区分开。因此，区分细胞图像中的粘连重叠部分，并分割出细胞图像中的每个细胞是十分重要的。
[0004]考察关于细胞图像的分割方法，主要有以下几种：[0005](1)传统的图像处理方法。如基于细胞图像的数学形态学(mathematical morphology)、像素二分类(pixel classification)等。这类方法主要是对图像进行基本的处理，根据细胞的形态学特征或是像素的所属部分来进行分类。传统的图像处理方法对于细胞图像的精细分割表现不佳，因为一张细胞图像中往往包括许多细胞，传统方法往往只能提取出细胞在图像中的区域，而很难区分开每个细胞单体的图像。[0006](2)语义分割网络。以U-net为代表的语义分割网络也是用于区分细胞图像中的细胞区域和背景区域，无法独立区分每个细胞单体的图像。因此往往要对得到的细胞掩膜图像(Mask)进行一定的后处理，如连通域搜索、水域分割等方法来区分每个细胞单体的图像。[0007](3)实例分割网络。以Mask R-CNN为代表的实例分割网络可以区分不同细胞，但相比于U-net等语义分割网络往往需要更大的数据量。由于训练的细胞图像往往需要医生或医学生进行手动标注，任务量大，因此当细胞图像中包含的细胞数量较大时，采用是实例分割网络方法进行分割是十分困难的。另外，采用实例分割网络分割所提供的细胞图像的信息较少，这对于细胞图像分割后的研究不利。
[0008]现有的细胞图像分割方法都对存在粘连的细胞图像无法进行准确的区分，对细胞图像的分割效果也很不理想。
发明内容
[0009]为了解决上述细胞图像分割的精准度较低的技术问题，本发明选择语义分割加后处理的方法来进行细胞分割，提供了一种基于图路径搜索和深度学习的细胞图像分割方法，包括采用经过训练的U-net预测模型，进行以下步骤：
4
CN 110458846 A[0010]
说 明 书
2/6页
预测阶段，包括把待分割的细胞图像输入经过训练的U-net预测模型，预测出待分
割细胞的距离图；
[0011]标注细胞中心，包括找出待分割的细胞图像中所有的局部像素值最大的像素点，在预测出的距离图上对应标注为细胞中心；局部像素值最大的像素点是指本身的像素值大于所有相邻像素点的像素值的像素点；[0012]路径搜索，包括对采用图路径搜索方式在待分割细胞的距离图上成功搜索两个相邻细胞中心的多条路径，提取路径点的像素值；[0013]进行判断，包括以搜索路径上每个路径点的像素值与细胞中心像素值对比判断两个相邻细胞中心是否属于不同细胞，若两个相邻细胞中心属于同一细胞则回到路径搜索步骤搜索其他相邻细胞中心的多条路径，若两个相邻细胞中心属于不同细胞则进入分割处理；
[0014]分割处理，包括对认定为属于不同细胞的进行分割，回到路径搜索对其他相邻细胞中心进行搜索，直至完成距离图上的全部相邻细胞中心的路径搜索后停止，得到全部细胞分割图像。[0015]优选地，所述U-net预测模型的通过以下步骤得到：[0016]图像预处理，包括将已标注出不同细胞的细胞掩膜图像生成细胞的距离图，在细胞的距离图中，属于细胞的像素点的像素值为该像素点到距离最近的非该细胞像素点的曼哈顿距离，不属于任何细胞的像素点的像素值为零；[0017]训练阶段，包括指定一个U-net训练损失函数，将图像预处理生成的距离图和对应的已标注出不同细胞的细胞图像输入U-net进行充分训练得到U-net预测模型。[0018]进一步地，在训练阶段，指定Binary Crossentropy函数作为U-net训练的损失函数。
[0019]进一步地，在训练阶段，当损失函数的数值不再下降时，U-net训练完成。[0020]进一步地，在训练阶段，采用Adam优化器进行U-net训练。[0021]进一步地，当已标注出不同细胞的细胞图像及对应的细胞掩膜图像大于256*256像素时，在图像预处理前，都裁剪成多块256*256像素大小。[0022]优选地，在标注细胞中心时，以像素值高于八个相邻点的像素点作为局部像素值最大的像素点。[0023]优选地，在路径搜索时，当搜索的当前路径的路径损失大于第一阈值或者路径长度大于第二阈值时，重新开始其他路径的搜索；当由一个细胞中心开始沿一条路径搜索成功到达另一个细胞中心时，则本条路径搜索成功。[0024]优选地，在进行判断时，当各条路径中的最小像素点与细胞中心像素点的差值都大于第三阈值，则判断两个细胞中心属于不同细胞。[0025]优选地，在分割处理时，采用watershed水域分割法对不同细胞进行分割。[0026]本发明以训练后的U-net预测模块对待分割细胞图像进行预测得到距离图，再找出局部像素值最大的像素点作为细胞中心，采用图路径搜索方式得到的对预测出的距离图中的细胞中心进行路径搜索，以搜索中获取的路径点的像素值与细胞中心的像素值进行对比，判断出需要分割的不同细胞，然后实施分割处理。采用本发明的方法可以对细胞图像中的粘连细胞进行较好的区分，在距离图质量(以图像中细胞部分的像素峰值判断)正常的情
5
CN 110458846 A
说 明 书
3/6页
况下，可达到95％以上的细胞单体图像区分成功率，以给细胞的分析提供良好基础。附图说明
[0027]图1为本发明的基于图路径搜索和深度学习的细胞图像分割方法实施例流程图。具体实施方式
[0028]为了更进一步阐述本发明为解决技术问题所采取的技术手段及功效，以下结合附图和具体实施例对本发明做进一步详细描述，需要说明的是所提供的附图是示意性的，相互间并没有完全按照尺寸或者比例绘制，因此附图和具体实施例并不作为本发明要求的保护范围限定。
[0029]如图1所示的基于图路径搜索和深度学习的细胞图像分割方法可选实施例流程，包括以下步骤：
[0030]图像预处理S10，以他人依照细胞图像标注好的细胞掩膜图像来计算生成距离图(Distance Map)，计算规则为：属于细胞的像素点的像素值为该像素点到距离最近的非该细胞像素点的曼哈顿距离(街道距离)，不属于任何细胞的像素点的像素值为零；根据已经标注好的细胞掩膜图像，对于属于某一细胞的像素点，该点在距离图上对应点的像素值等于细胞掩膜图像上该点到距离该点最近的非该细胞像素点的曼哈顿距离，以圆形细胞图像为例，细胞的圆形图像中的圆内任意一点都是属于该细胞的像素点，该细胞的像素点在距离图中的像素值等于细胞掩膜图像上的该点到最近的圆外非该细胞像素点的曼哈顿距离；如果细胞图像大于256*256像素，对应的细胞掩膜图像也会大于256*256像素，那么可以把细胞图像和它对应的细胞掩膜图像随机裁剪为多块256*256像素大小，裁剪时允许各小块图像有部分重叠，特别是在原图像大小并非256*256像素的整数倍的情况下；对裁剪后的细胞掩膜图像进行图像预处理得到的距离图大小也为256*256像素，裁剪是为了使得细胞图像和距离图的大小更适合后续的U-net语义分割网络进行训练；[0031]训练阶段S20，指定Binary Crossentropy函数作为U-net训练的损失函数，Binary Crossentropy函数即为二元交叉熵函数，将原来的RGB三通道(即红Red、绿Green、蓝Blue三个颜色通道)的细胞图像和图像预处理生成的单通道的距离图输入U-net，并采用Adam优化器进行U-net训练，例如训练轮次为50轮，训练数据集大小为550；这时损失函数的数值不再明显下降时，认定为U-net训练完成得到U-net预测模型；该U-net预测模型可以用于对细胞图像进行预测生成对应距离图，且U-net预测模型可以重复使用，即U-net预测模型一次训练完成，从此不用再进行图像预处理和训练阶段这两个步骤，只要把第一次训练完成的U-net预测模型拿来使用即可；[0032]预测阶段S30，把待分割的细胞图像输入U-net预测模型，预测出待分割细胞的距离图(Distance Map)；训练完成的U-net预测模型可重复用于预测。[0033]标注细胞中心S40，包括找出待分割的细胞图像中所有的局部像素值最大的像素点，在预测出的距离图上对应标注为细胞中心；[0034]路径搜索S50，以路径损失是否大于第一阈值、路径长度是否大于第二阈值对是停止该路径搜索来控制，当搜索的当前路径的路径损失大于第一阈值或者路径长度大于第二阈值时，停止并重新开始其他路径的搜索；当由一个细胞中心开始沿一条路径搜索成功到
6
CN 110458846 A
说 明 书
4/6页
达另一个细胞中心时，则本条路径搜索成功，对采用图路径搜索方式在待分割细胞的距离图上成功搜索两个相邻细胞中心的多条路径，比如遍历两个相邻细胞中心之间的全部路径或者搜索10条以上路径，提取各路径上的路径点的像素值；采用第一阈值和第二阈值避免了路径过长、路径搜索方向与细胞中心方向不符等缺点。[0035]进行判断，取每条路径上每个路径点的像素值与细胞中心像素值的最大差值都超过第三阈值，或者每条路径中的最大差值中的最小的超过第三阈值，则可认为每条路径的路径点中满足像素值与细胞中心像素值的最大差值的路径点属于非细胞像素，由此判断两个相邻细胞中心属于不同细胞，若不是属于不同细胞则回到路径搜索步骤搜索其他相邻细胞中心的多条路径，若是属于不同细胞则进入分割处理；[0036]分割处理，对认定为属于不同细胞的进行细胞图像分割；同时回到路径搜索对其他相邻细胞中心进行搜索，直至完成距离图上的全部相邻细胞中心的路径搜索后停止，即可得到全部细胞分割图像。
[0037]为了进一步说明搜索两细胞中心之间的多条路径的过程，以及如何判断是否作为不同细胞进行区分和实施图像分割，下面结合伪代码加以解释，一种伪代码如下表：
[0038]
7
CN 110458846 A[0039]
说 明 书
5/6页
在细胞的距离图上，属于细胞像素点的像素值为该像素点到距离最近的非该细胞
像素点的曼哈顿距离，不属于任何细胞的像素点的像素值为零。把局部像素值最大的像素点定义为细胞中心，不同的局部像素值最大的像素点(即细胞中心)可能来源于不同细胞，也可能来源于同一细胞的不同位置，对于来源于不同细胞的就需要进行细胞分割处理；所以区分细胞中心是否来源于不同细胞，从上述伪代码的内容可见是由路径中的像素差最大值中的最小值与第三阈值的对比来判定：若超过第三阈值说明两细胞中心之间的每条路径中都存在不属于细胞的像素点(即背景像素点)，说明两细胞中心之间的所有路径都有一个不属于细胞的最小像素点，因为这些最小像素点与细胞中心像素点的像素对比度(差值)最大(都超过第三阈值)，即两个细胞中心间有不属于细胞图像素的分界存在，基于此认定这两细胞中心并非是来源于同一细胞，而是来源于不同的细胞需要进行分割；若不超过第三阈值则说明两个相邻细胞中心间的像素点都是细胞图像素点，两者之间无断点存在，可认为是两个相邻细胞中心来源于同一细胞不需要进行分割。
[0041]采用本发明的方法可以对细胞图像中的粘连细胞进行较好的区分，在U-net预测
8
[0040]
CN 110458846 A
说 明 书
6/6页
模型得到充分训练的情况下，可达到95％以上的细胞单体图像区分成功率。[0042]当然，本发明还可有其它多种实施例，在不背离本发明精神及其实质的情况下，本领域技术人员可根据本发明做出各种相应的改变和变形，但这些相应的改变和变形都属于本发明的权利要求的保护范围。
9
CN 110458846 A
说 明 书 附 图
1/1页
图1
10
因篇幅问题不能全部显示，请点此查看更多更全内容