1.一种提高光学相干层析图像纵向分辨率的自监督方法，其特征在于，包括三个步骤：

步骤1：构建光学相干层析图像，即OCT图像的纵向超分辨训练数据集；

所述OCT图像的纵向超分辨训练数据集是指OCT纵向低分辨率(low resolution,LR)B-scan图像和OCT纵向高分辨率(High resolution,HR)B-scan图像对所构成的数据集；具体构建方法：

步骤1.1：首先利用OCT系统采集样品的二维B-scan干涉光谱，对其中每一列A-scan干涉光谱进行逆傅里叶变换获得原始OCT B-scan图像，所述原始OCT B-scan图像为OCT HRB-scan图像；利用光谱整形方法调整每一列A-scan干涉光谱，从而改变原始OCT B-scan图像的纵向分辨率，获得OCT LR B-scan图像；构成一个OCT LR B-scan图像和OCT HR B-scan图像对；

步骤1.2：按照步骤1.1的方法对样品P个位置分别采集一个原始OCT B-scan图像，生成P个OCT LR B-scan图像和OCT HR B-scan图像对，构成OCT图像的纵向超分辨训练数据集；P值取大于等于20的自然数；

步骤2：构建OCT图像的纵向超分辨模型；

通过深度学习方法学习OCT LR B-scan图像和OCT HR B-scan图像之间的映射关系，构建OCT图像的纵向超分辨模型；

步骤3：基于构建的OCT图像的纵向超分辨模型实现OCT图像的纵向分辨率的提高；

步骤3.1：将待处理的OCT HR B-scan图像进行重采样；

步骤3.2：将重采样后的图像输入到步骤2构建的OCT图像的纵向超分辨模型中，所述OCT图像的纵向超分辨模型的输出为纵向超分辨的OCT图像；

步骤3.3：对所述纵向超分辨的OCT图像进行降采样，降采样后的图像作为最终输出图像。

2.根据权利要求1所述一种提高光学相干层析图像纵向分辨率的自监督方法，其特征在于，步骤1.1中所述利用光谱整形获得OCT LR B-scan图像的方法如下：

所述光谱整形方法如(1)式所示，

Sshape(k)＝S(k)×Gaussian(k). (1)

其中,k表示波数，S(k)表示OCT系统采集的二维B-scan干涉光谱中的A-scan干涉光谱，Gaussian(k)表示高斯函数；通过调整所述高斯函数的半高全宽(Full width at halfheight，FWHM)来改变A-scan干涉光谱的带宽；光谱整形后获得的光谱Sshape(k)的半高全宽决定了OCT LR B-scan图像的纵向分辨率；

具体做法为：对于原始B-scan图像，将其中采集到的每一个A-scan干涉光谱分别与所述高斯函数相乘，获得整形后的光谱Sshape(k)，经过逆傅里叶变换后得到低分辨的OCT A-scan信号，再将处理后的所有A-scan信号重新原位排列组成B-scan图像，从而生成与OCT系统的原始B-scan图像，即OCT HR B-scan图像对应的OCT LR B-scan图像。

3.根据权利要求1所述一种提高光学相干层析图像纵向分辨率的自监督方法，其特征在于，步骤3.1所述重采样是指对待处理的OCT HR B-scan图像进行纵向插值，插值方法包括双三次插值法、线性插值法和三次插值法；插值后的图像纵向像素数等于待处理的OCTHR B-scan图像纵向像素数的K倍；K等于所述OCT图像的纵向超分辨训练数据集中OCT LRB-scan图像的分辨率与OCT HR B-scan图像的分辨率的比值。

4.根据权利要求1所述一种提高光学相干层析图像纵向分辨率的自监督方法，其特征在于，步骤3.3所述降采样是指使模型输出的纵向超分辨的OCT图像的像素数与OCT LR B-scan图像的像素数相同，降采样方法包括双三次降采样法、线性降采样法和三次降采样法。

技术领域

[0001]本发明涉及图像处理和成像技术领域，尤其是涉及一种提高光学相干层析图像纵向分辨率的自监督方法。

背景技术

[0002]光学相干层析术(Optical coherence tomography,OCT)是一种非接触、非侵入的成像技术。为了检测样品更细微的结构，研究人员一直在努力提高它的纵向分辨率。提高OCT纵向分辨率最直接的方法是使用光谱更宽的光源，如采用掺钛蓝宝石激光器或超连续谱光源。然而，受工业水平和成本限制，基于硬件技术不可能无限地提高OCT的纵向分辨率。

[0003]解卷积方法已被证明可以提高纵向分辨率，由M.D.Kulkarni等人于1997年提出(Kulkarni M D,Thomas C W,Izatt J A,Sivak M V,Image enhancement in opticalcoherence tomography using deconvolution,Electronics letters,1997,33(16),1365-1367.)。除了解卷积方法，其它数字处理技术，如光谱整形法(Gong J,Liu B,Kim YL,Liu Y,Li X,Backman V,Optimal spectral reshaping for resolution improvementin optical coherence tomography,Optics Express,2006,14(13),5909-5915.)和光谱估计法(Liu X,Chen S,Cui D,Yu X,Liu L,Spectral estimation optical coherencetomography for axial super-resolution,Optics express,2015,23(20),26521-26532.)，也被用于提高纵向分辨率。但是由于存在各种噪声及缺乏先验知识等问题，这些处理方法在优化纵向分辨率的同时会引入一些伪信号。

发明内容

[0004]本发明的主要目的在于克服现有技术存在的上述不足，提供一种提高光学相干层析图像纵向分辨率的自监督方法。

[0005]本发明基于OCT系统的成像原理和光谱整形方法获得低分辨图像和高分辨图像对，利用深度学习强大的学习能力，学习低分辨图像和高分辨图像之间的映射关系，结合图像重采样和降采样，自监督地提升图像的纵向分辨率。

[0006]本发明的技术方案：

[0007]一种提高光学相干层析图像纵向分辨率的自监督方法，包括三个步骤：

[0008]步骤1：构建光学相干层析(Optical Coherence Tomography,OCT)图像的纵向超分辨训练数据集；

[0009]所述OCT图像的纵向超分辨训练数据集是指OCT纵向低分辨率(low resolution,LR)B-scan图像和OCT纵向高分辨率(High resolution,HR)B-scan图像对所构成的数据集。具体构建方法：

[0010]步骤1.1：首先利用OCT系统采集样品的二维B-scan干涉光谱，对其中每一列A-scan干涉光谱进行逆傅里叶变换获得原始OCT B-scan图像，所述原始OCT B-scan图像为OCT HR B-scan图像；利用光谱整形方法调整每一列A-scan干涉光谱，从而改变原始OCT B-scan图像的纵向分辨率，获得OCT LR B-scan图像；构成一个OCT LR B-scan图像和OCT HRB-scan图像对；

[0011]步骤1.2：按照步骤1.1的方法对样品P个位置分别采集一个原始OCT B-scan图像，生成P个OCT LR B-scan图像和OCT HR B-scan图像对，构成OCT图像的纵向超分辨训练数据集；P值取大于等于20的自然数；

[0012]其中，步骤1.1中所述利用光谱整形获得OCT LR B-scan图像的方法如下：

[0013]所述光谱整形方法如(1)式所示，

[0014]Sshape(k)＝S(k)×Gaussian(k). (1)

[0015]其中,k表示波数，S(k)表示OCT系统采集的二维B-scan干涉光谱中的A-scan干涉光谱，Gaussian(k)表示高斯函数；通过调整所述高斯函数的半高全宽(Full width athalf height，FWHM)来改变A-scan干涉光谱的带宽；光谱整形后获得的光谱Sshape(k)的半高全宽决定了OCT LR B-scan图像的纵向分辨率。

[0016]具体做法为：对于原始B-scan图像，将其中采集到的每一个A-scan干涉光谱分别与所述高斯函数相乘，获得整形后的光谱Sshape(k)，经过逆傅里叶变换后得到低分辨的OCTA-scan信号，再将处理后的所有A-scan信号重新原位排列组成B-scan图像，即可生成与OCT系统的原始B-scan图像，即OCT HR B-scan图像对应的OCT LR B-scan图像。

[0017]步骤2：构建OCT图像的纵向超分辨模型；

[0018]通过深度学习方法学习OCT LR B-scan图像和OCT HR B-scan图像对间的映射关系，构建OCT图像的纵向超分辨模型；

[0019]步骤3：基于构建的OCT图像的纵向超分辨模型实现OCT图像的纵向分辨率的提高；

[0020]步骤3.1：将待处理的OCT HR B-scan图像进行重采样；

[0021]所述重采样是指对待处理的OCT HR B-scan图像进行纵向插值，插值方法包括双三次插值法、线性插值法和三次插值法。插值后的图像纵向像素数等于待处理的OCT HR B-scan图像纵向像素数的K倍。K等于所述OCT图像的纵向超分辨训练数据集中OCT LR B-scan图像的分辨率与OCT HR B-scan图像的分辨率的比值。

[0022]步骤3.2：把重采样后的图像输入到步骤2构建的OCT图像的纵向超分辨模型中，所述OCT图像的纵向超分辨模型的输出为纵向超分辨的OCT图像；

[0023]步骤3.3：对所述纵向超分辨的OCT图像进行降采样，降采样后的图像作为最终输出图像。

[0024]所述降采样是指使模型输出的纵向超分辨的OCT图像的像素数与OCT LR B-scan图像的像素数相同，降采样方法包括双三次降采样法、线性降采样法和三次降采样法。

[0025]本发明的有益效果：

[0026]1、本发明无需任何机械硬件装置的辅助，通过数字方法来提高OCT系统的纵向分辨率，可以降低系统硬件的开发成本；

[0027]2、本发明结合光谱整形方法和图像重采样执行自监督学习，不依赖于任何外部训练数据，利用深度学习方法来实现OCT图像的自监督的纵向分辨率提高，处理速度快；

[0028]3、本发明的实施对OCT硬件系统要求低，泛化能力强。

附图说明

[0029]图1是本发明提供的提高OCT图像的纵向分辨率的自监督方法流程图；

[0030]图2是本发明的生成器结构示意图；

[0031]图3是本发明的生成器中的残差密连接块结构示意图；

[0032]图4是本发明的生成器中的非对称卷积层结构示意图；

[0033]图5是本发明的判别器结构示意图；

[0034]图6表示本发明提高OCT纵向分辨率的结果；其中(a)为分辨率为18微米的斑马鱼背部OCT LRB-scan图像，(b)为分辨率为8微米的斑马鱼背部

[0035]OCT HR B-scan图像，(c)为本发明生成器输出的图(b)的超分辨图像。

具体实施方式

[0036]下面结合附图对本发明目的的实现、功能特点及优点做进一步说明。

[0037]本发明提供一种提高光学相干层析图像纵向分辨率的自监督方法，其流程图如附图1所示，包括三个步骤：

[0038]步骤1：构建光学相干层析(Optical Coherence Tomography,OCT)图像的纵向超分辨训练数据集；

[0039]具体构建方法：

[0040]首先利用OCT系统采集样品的二维B-scan干涉光谱，对其中每一列A-scan干涉光谱进行逆傅里叶变换获得原始OCT B-scan图像，所述原始OCT B-scan图像为OCT HR B-scan图像；利用光谱整形方法调整每一列A-scan干涉光谱，从而改变原始OCT B-scan图像的纵向分辨率，获得OCT LR B-scan图像；构成一个OCT LR B-scan图像和OCT HR B-scan图像对；

[0041]重复上述操作对样品P个位置分别采集一个原始OCT B-scan图像，生成P个OCT LRB-scan图像和OCT HR B-scan图像对，构成OCT图像的纵向超分辨训练数据集；实施例中P取20。

[0042]利用光谱整形方法调整原始OCT B-scan图像中A-scan信号的纵向分辨率，进而获得OCT LR B-scan图像。

[0043]所述光谱整形方法如(1)式所示，

[0044]Sshape(k)＝S(k)×Gaussian(k). (1)

[0045]其中,k表示波数，S(k)表示OCT系统采集的二维B-scan干涉光谱中的A-scan干涉光谱，Gaussian(k)表示高斯函数。通过调整所述高斯函数的半高全宽(Full width athalf height，FWHM)来改变A-scan干涉光谱的带宽；光谱整形后获得的光谱Sshape(k)的半高全宽决定了OCT LR B-scan图像的纵向分辨率。

[0046]具体做法为：对于原始B-scan图像，将其中采集到的每一个A-scan干涉光谱分别与所述高斯函数相乘，获得整形后的光谱Sshape(k)，经过逆傅里叶变换后得到低分辨的OCTA-scan信号，再将处理后的所有A-scan信号重新原位排列组成B-scan图像，即可生成与OCT系统的原始B-scan图像，即OCT HR B-scan图像对应的OCT LR B-scan图像。

[0047]实施例中，首先获得纵向分辨率为8微米的OCT HR B-scan图像，利用光谱整形方法获得了18微米的OCT LR B-scan图像。18微米的OCT LR B-scan图像和8微米的OCT HR B-scan图像对，构成OCT图像的纵向超分辨训练数据集。OCT图像的纵向超分辨训练数据集包含20个OCT LR B-scan图像和OCT HR B-scan图像对，其中图像大小为1000像素×2000像素，对应于3mm×2.5mm的视野范围。把大图像划分为大小为80像素×80像素的图像块，在划分时去除特征信息较少的图像块，然后经过翻转、旋转等数据扩充，生成数据集。最后，按照3:1:1的比例分配训练集、验证集和测试集。

[0048]步骤2：构建OCT图像的纵向超分辨模型；

[0049]在图像纵向超分辨模型构建中，通过深度学习方法(包括残差网络、密连接网络或生成对抗神经网络)学习OCT LR B-scan图像与OCT HR B-scan图像间的映射关系。具体实施方法如下：

[0050]本实施例中采用非对称生成对抗神经网络作为深度学习的超分辨模型，该生成对抗神经网络由一个生成器和一个判别器组成，输入OCT LR B-scan图像到生成对抗神经网络的生成器中得到生成图像，该生成图像和OCT HR B-scan图像被输入到判别器中，判别器用于预测真实高分辨图像比生成图像更真实的概率，并返回损失结果更新生成器和判别器权重参数，如此往复训练直至生成对抗神经网络收敛。

[0051]实施例生成对抗神经网络中生成器网络结构如附图2所示，包括卷积模块、特征提取模块和特征重建模块；

[0052]卷积模块包括一个非对称卷积(Asymmetric convolution block,ACB)层；

[0053]特征提取模块包括64个残差密连接块RRDB Block。每个残差密连接块结构如附图3所示，每个残差密连接块由23个密集连接块组成，同时每个密集连接块之间都加入了跳跃连接；密集连接块由五个非对称卷积ACB层和四个LReLU层组成，在每个块中，每层的特征图都与相同尺度的所有先前特征连接在一起。实施例非对称卷积层结构如附图4所示，非对称卷积层由三个各自独立的卷积层构成，卷积层的卷积核大小分别为3×1，3×3和1×3，各个卷积层的输出特征图最后被累加起来作为整个非对称卷积层的输出。

[0054]附图2中，特征重建模块由两个ACB层和一个LReLU层组成，用于将学习到的特征重建为超分辨图像。

[0055]实施例判别器结构如附图5所示，包含8个具有3×3滤波器核的卷积层Conv。除了第一层之外，每个卷积层后面都有一个批处理归一化层BN和一个LReLU层。卷积层之后是两个线性层和一个LReLU层。各卷积层对应的卷积核大小(ke)、个数(n)、步长(s)在图5中已标注。

[0056]利用OCT LR B-scan图像和OCT HR B-scan图像对所构成的OCT图像的纵向超分辨数据集，训练非对称生成对抗神经网络，得到OCT图像的纵向超分辨模型。所述模型均采用Adam算法进行优化，超参数分别为α＝0，β1＝0.9，β2＝0.99。设置训练迭代次数为150000次。模型的训练和测试使用深度学习框架Pytorch完成。

[0057]步骤3：基于构建的OCT图像的纵向超分辨模型实现OCT图像的纵向分辨率的提高；

[0058]步骤3.1：将待处理的纵向分辨率为8微米的OCTHR B-scan图像进行重采样，即对待处理的OCT HR B-scan图像进行纵向插值，使得插值后的图像纵向像素数等于待处理的OCT HR B-scan图像纵向像素数的K倍。本实施例中低分辨图像的分辨率和高分辨图像的分辨率分别是18微米和8微米，它们的比值K为2.25(K值为低分辨率与高分辨率的比值)，OCTHR B-scan图像大小为1000像素×2000像素，因此本实施例中使用双三次插值法把OCT HRB-scan图像插值到1000像素×4500像素。

[0059]步骤3.2：把重采样后的图像输入到所述OCT图像的纵向超分辨模型中，所述OCT图像的纵向超分辨模型输出得到纵向超分辨的OCT图像；

[0060]步骤3.3：对所述纵向超分辨的OCT图像进行降采样，降采样后的图像作为最终输出图像；本实施例中模型输出的纵向超分辨的OCT图像大小为1000像素×4500像素，使用双三次降采样法将超分辨模型输出的纵向超分辨的OCT图像降采样为1000像素×2000像素的图像，作为最终输出图像。所述最终输出图像实现了OCT图像纵向分辨率的提高。

[0061]本发明纵向分辨率的提高倍数等于K，K为OCT图像的纵向超分辨数据集中低分辨率与高分辨率的比值。本实施例中OCT图像的纵向超分辨数据集中低分辨率与高分辨率的比值为2.25，因此实施例中最终输出图像实现了OCT HR B-scan图像纵向分辨率1.25倍的提升。具体实施中，也可根据OCT图像的纵向超分辨模型的超分辨能力，进一步优化K值。比如纵向超分辨模型的超分辨能力高，可以适当增加K，反之，则减小K。对优化以后的K，再利用光谱整形方法获得OCT LR B-scan图像，并且使得所述OCT LR B-scan图像的分辨率与OCT HR B-scan图像的分辨率的比值为K。

[0062]如附图6所示，给出了本发明的OCT B-scan图像纵向分辨率提升结果。(a)为分辨率为18微米的斑马鱼背部OCT LR B-scan图像，(b)为分辨率为8微米的斑马鱼背部OCT HRB-scan图像，(c)为本发明生成器输出的图(b)的超分辨图像。从图(c)可以看到超分辨图像中斑马鱼背部的肌肉纹理相比HR B-scan图像更为清晰，这说明OCT图像的纵向分辨率得到了提高。

[0063]本发明实施时，首先使用OCT系统采集干涉信号，利用光谱整形方法和逆傅里叶变换获得OCT LR B-scan图像和OCT HR B-scan图像对，构建OCT图像的纵向超分辨训练数据集；然后通过非对称生成对抗网络学习OCT LR B-scan图像和OCT HR B-scan图像间映射关系，构建OCT图像的纵向超分辨模型，最后基于OCT图像的纵向超分辨模型提高OCT图像的纵向分辨率。本发明可以仅依赖于OCT干涉光谱，通过自监督学习实现光学相干层析系统的纵向分辨率提高，不增加OCT系统硬件复杂度，速度快。

[0064]上述实施例只为说明本发明的技术构思及特点，其目的在于让熟悉此项技术的人员能够了解本发明内容并加以实施，并不能以此限制本发明地保护范围，凡根据本发明精神实质所作地等效变化或修饰，都应涵盖在本发明的保护范围内。