1.OCT和OCTA图像融合的视网膜血管图像分割方法，其特征在于，包括：
获取OCT图像、OCTA图像和投影图；
对所述OCT图像和OCTA图像进行多个阶段投影和融合，生成所述OCT图像和OCTA图像的多模态投影图和多个中间阶段融合投影图；
将所述OCT图像和OCTA图像的所述多模态投影图进行融合，生成特征图；将所述OCT图像和OCTA图像的多个所述中间阶段融合投影图进行融合，生成特征图；
将所述投影图、特征图和特征图相加生成特征图，对所述特征图、特征图和特征图进行投影分割，获得RV和FAZ的图像分割结果；
多个阶段投影的过程为：每个阶段将图像沿H维度划分为多个patch，将所述patch的L维压缩，然后将所述patch连接起来，其中，图像中边缘区域和FAZ区域划分的所述patch大于图像中其余区域划分的所述patch；通过多个阶段，将所述patch的L维逐步压缩至1。
2.如权利要求1所述的OCT和OCTA图像融合的视网膜血管图像分割方法，其特征在于，所述OCT图像和OCTA图像分别经过所有阶段投影，生成所述多模态投影图；
所述OCT图像和OCTA图像分别经过相同数量的中间阶段投影生成中间阶段投影图，所述中间阶段投影图融合后再经过后续阶段的投影，生成所述中间阶段融合投影图，所述中间阶段投影的投影阶段数小于投影阶段总数，所述中间阶段融合投影图的数量为投影阶段总数减1。
3.如权利要求2所述的OCT和OCTA图像融合的视网膜血管图像分割方法，其特征在于，所述投影阶段总数为四个，依次使用KAPM1、KAPM2、KAPM3和KAPM4对所述OCT图像和OCTA图像进行四个阶段的投影；
所述KAPM1包括依次设置的内核大小为(a,1,1)、步幅为(a,1,1)和内核大小为(a,3,3)、步幅为(a,1,1)的内核自适应单向卷积，所述KAPM1的输入大小为(128,W,H,1)，输出大小为(16,W,H,16)；
所述KAPM2包括依次设置的内核大小为(a,1,1)、步幅为(a,1,1)和内核大小为(a,3,3)、步幅为(a,1,1)的内核自适应单向卷积，所述KAPM2的输入大小为(16,W,H,16)，输出大小为(4,W,H,32)；
所述KAPM3包括依次设置的内核大小为(a,1,1)、步幅为(a,1,1)和内核大小为(a,3,3)、步幅为(a,1,1)的内核自适应单向卷积，所述KAPM3的输入大小为(4,W,H,32)，输出大小为(2,W,H,64)；
所述KAPM4包括依次设置的内核为(2,1,1,)/(2,3,3)/(2,5,5)、步幅为(2,1,1)的单项最大池化，以及内核大小为(a,1,1)、步幅为(a,1,1)和内核大小为(a,3,3)、步幅为(a,1,1)的内核自适应单向卷积，所述KAPM4的输入大小为(2,W,H,64)，输出大小为(1,W,H,128)。
4.如权利要求2所述的OCT和OCTA图像融合的视网膜血管图像分割方法，其特征在于，所述中间阶段融合投影图的生成过程为：将所述OCT图像和OCTA图像的所述中间阶段投影图连接后输入到SE块，得到的通道权值再分别与所述OCT图像和OCTA图像的所述中间阶段投影图相乘，得到的中间阶段特征图再输入SA块，得到所述中间阶段融合投影图。
5.如权利要求4所述的OCT和OCTA图像融合的视网膜血管图像分割方法，其特征在于，所述SE块包括依次设置的一个全局平均池化层、两个全连接层和一个sigmoid层；
所述SA块的计算过程为：所述中间阶段特征图分别输入CR层，得到的特征连接后输入softmax层，得到空间权值，将所述空间权值与对应的所述中间阶段特征图的相乘结果相加得到所述中间阶段融合投影图；所述CR层包括两个连续的卷积，第一个所述卷积之后设置有一个ReLU函数。
6.如权利要求1所述的OCT和OCTA图像融合的视网膜血管图像分割方法，其特征在于，将所述OCT图像和OCTA图像的所述多模态投影图进行融合，生成特征图的过程为：
所述OCTA图像的所述多模态投影图减去所述OCT图像的所述多模态投影图，得到差模特征；
将所述差模特征输入SE块得到的通道权值；
将所述通道权值通过LeakyReLU层、门控单元α后，与所述OCT图像的所述多模态投影图相加，得到增强后OCT特征图；将所述通道权值通过门控单元β后，与所述OCTA图像的所述多模态投影图相加，得到增强后OCTA特征图；
所述增强后OCT特征图和增强后OCTA特征图连接生成特征图。
7.如权利要求1所述的OCT和OCTA图像融合的视网膜血管图像分割方法，其特征在于，将所述OCT图像和OCTA图像的多个所述中间阶段融合投影图进行融合，生成特征图的过程为：
将多个所述中间阶段融合投影图两两连接，生成多个复合特征图，再将多个所述中间阶段融合投影图相加，得到全特征图；
将所述复合特征图、全特征图分别依次通过fc层和sigmoid层，得到权值，所述fc层包括两个1x1卷积，第一个所述1x1卷积后设置有一个ReLU函数；
将所述权值分别与对应的所述中间阶段融合投影图、全特征图相乘，得到中间阶段增强特征图和全增强特征图；
将所有的所述中间阶段增强特征图相加后，与所述全增强特征图连接，对齐得到特征图。
8.如权利要求7所述的OCT和OCTA图像融合的视网膜血管图像分割方法，其特征在于，所述中间阶段融合投影图的数量为三个，分别为、和，则全特征图为，；
将所述复合特征图、全特征图分别依次通过fc层和sigmoid层，得到的权值、、和的计算公式分别为：

；
其中，concat()表示连接，fc()表示通过fc层，Sigmoid()表示通过sigmoid层，
将所述权值分别与对应的所述中间阶段融合投影图、全特征图相乘，得到的中间阶段增强特征图、和，以及全增强特征图的计算公式分别为：

将所有的所述中间阶段增强特征图相加后，与所述全增强特征图连接，对齐得到的特征图的计算公式为：
。
9.如权利要求1所述的OCT和OCTA图像融合的视网膜血管图像分割方法，其特征在于，所述特征图、特征图和特征图进行投影分割的过程为：
将所述特征图、特征图和特征图分别输入Encoder，得到特征、特征和特征；
所述特征、特征和特征输入特征交互模块，所述特征交互模块使用1x1卷积将特征和特征转化为Query向量，使用1x1卷积将特征转化为Key向量和Value向量，再利用所述Query向量、Key向量和Value向量，使用softmax获取特征与特征、特征与特征之间的相似度权值，然后在特征中加入两个所述相似度权值，得到增强的特征；
所述增强的特征输入Decoder，获得RV和FAZ的图像分割结果。

技术领域
[0001]本发明涉及图像处理技术领域，尤其涉及一种视网膜血管图像分割方法。
背景技术
[0002]许多眼底病变会发生在视网膜血管(Retinal vascular,RV)的周围。视网膜血管图包含丰富的几何特征，如血管直径、分支角度和分支长度。这些几何特征反映了临床和病理特征，可帮助眼科医生诊断各种眼病。中央凹无血管区(foveal avascular zone，FAZ)通常位于黄斑中心，缺乏毛细血管。FAZ形状和轮廓不规则，与年龄、视力和各种眼科疾病密切相关，包括糖尿病视网膜病变和年龄相关性黄斑变性，这使得FAZ成为临床的重要指标。因此，研究RV和FAZ分割技术，对于辅助与之相关的各种疾病的诊断和治疗具有重要的临床和实用价值。
[0003]光学相干层析成像(Optical coherence tomography，OCT)是一种非侵入式成像技术，生成高分辨率的组织横断面图像。光学相干层析血管成像(Optical coherencetomography angiography，OCTA)是一种新兴的OCT功能成像类型，可以提供视网膜血管和微血管系统的信息。相比于传统的彩色眼底图，OCT和OCTA能提供更详细的信息，包括视网膜层结构、病变形态和范围等。因此OCT和OCTA被逐渐用于与视网膜血管相关疾病的诊断和评估。
[0004]比较常见的是单独利用OCTA图像进行视网膜血管的识别、分析。如申请公布号CN114882000A的中国发明专利公开了一种基于OCTA的图像处理方法，包含以下步骤：获取OCTA血管造影图；对OCTA血管造影图进行预处理；对预处理后的OCTA血管造影图进行图像分割；对图像分割后的OCTA血管造影图进行血管骨架提取；基于提取结果进行参数测量。该专利仅对用OCTA图像，在对图像进行分割处理时，容易忽略掉微小的细节。
[0005]由于OCTA中含有一些OCT没有的信息，例如血流信息，OCTA和OCT共同使用时，能够更好的进行视网膜血管的识别、分析。但是由于不同模态的错位和融合不足而导致的特征贡献不均和模态不平衡，使得OCTA和OCT难以共同使用。申请公布号CN117333419A的中国发明专利公开了一种基于OCTA投影图像的动静脉向心度计算方法，包括：对输入的频域光学相干断层(SD-OCT)图像进行组织层分割，定位内界膜(ILM)上边界和外网状层(OPL)下边界，根据ILM层上边界和OPL层下边界生成OCTA投影图像，利用图像投影网络(IPN)模型分割OCTA投影图像血管，然后在彩色眼底图像上根据血管粗细、明暗特征区分动静脉，接着采用半自动配准方法将OCTA投影图像与彩色眼底图像配准，并根据血管连续性在血管分割结果图像上绘制动静脉血管图像，最后对血管人工分级，并根据血管向心度公式对每根血管分别计算血管向心度。该专利利用ILM层上边界和OPL层下边界，共同使用了OCT和OCTA图像，更好的实现了计算血管向心度，但是没有解决OCT与OCTA两个模态之间存在的特征贡献不均和模态不平衡的问题。
发明内容
[0006]本发明旨在解决由于不同模态的错位和融合不足而导致的特征贡献不均和模态不平衡的问题。为此，本发明提供一种OCT和OCTA图像融合的视网膜血管图像分割方法，通过数据增强方法减少过拟合，然后将三维体积数据分阶段投影到二维平面上，再通过注意力机制对中间特征进行特异化处理，以缓解模态之间的不平衡问题，最后进行二维分割。
[0007]本发明提供一种OCT和OCTA图像融合的视网膜血管图像分割方法，采用的技术方案如下：包括：
[0008]获取OCT图像、OCTA图像和投影图；
[0009]对所述OCT图像和OCTA图像进行多个阶段投影和融合，生成所述OCT图像和OCTA图像的多模态投影图和多个中间阶段融合投影图；
[0010]将所述OCT图像和OCTA图像的所述多模态投影图进行融合，生成特征图；将所述OCT图像和OCTA图像的多个所述中间阶段融合投影图进行融合，生成特征图；
[0011]将所述投影图、特征图和特征图相加生成特征图，对所述特征图、特征图和特征图进行投影分割，获得RV和FAZ的图像分割结果。
[0012]进一步的，多个阶段投影的过程为：每个阶段将图像沿H维度划分为多个patch（块），将所述patch的L维压缩，然后将所述patch连接起来，其中，图像中边缘区域和FAZ区域划分的所述patch大于图像中其余区域划分的所述patch；通过多个阶段，将所述patch的L维逐步压缩至1。
[0013]进一步的，所述OCT图像和OCTA图像分别经过所有阶段投影，生成所述多模态投影图；
[0014]所述OCT图像和OCTA图像分别经过相同数量的中间阶段投影生成中间阶段投影图，所述中间阶段投影图融合后再经过后续阶段的投影，生成所述中间阶段融合投影图，所述中间阶段投影的投影阶段数小于投影阶段总数，所述中间阶段融合投影图的数量为投影阶段总数减1。
[0015]进一步的，投影阶段总数为四个，依次使用KAPM1、KAPM2、KAPM3和KAPM4对所述OCT图像和OCTA图像进行四个阶段的投影；
[0016]所述KAPM1包括依次设置的内核大小为(a,1,1)、步幅为(a,1,1)和内核大小为(a,3,3)、步幅为(a,1,1)的内核自适应单向卷积，所述KAPM1的输入大小为(128,W,H,1)，输出大小为(16,W,H,16)；
[0017]所述KAPM2包括依次设置的内核大小为(a,1,1)、步幅为(a,1,1)和内核大小为(a,3,3)、步幅为(a,1,1)的内核自适应单向卷积，所述KAPM2的输入大小为(16,W,H,16)，输出大小为(4,W,H,32)；
[0018]所述KAPM3包括依次设置的内核大小为(a,1,1)、步幅为(a,1,1)和内核大小为(a,3,3)、步幅为(a,1,1)的内核自适应单向卷积，所述KAPM3的输入大小为(4,W,H,32)，输出大小为(2,W,H,64)；
[0019]所述KAPM4包括依次设置的内核为(2,1,1,)/(2,3,3)/(2,5,5)、步幅为(2,1,1)的单项最大池化，以及内核大小为(a,1,1)、步幅为(a,1,1)和内核大小为(a,3,3)、步幅为(a,1,1)的内核自适应单向卷积，所述KAPM4的输入大小为(2,W,H,64)，输出大小为(1,W,H,128)。
[0020]进一步的，所述中间阶段融合投影图的生成过程为：将所述OCT图像和OCTA图像的所述中间阶段投影图连接后输入到SE块，得到的通道权值再分别与所述OCT图像和OCTA图像的所述中间阶段投影图相乘，得到的中间阶段特征图再输入SA块，得到中间阶段融合投影图。
[0021]进一步的，所述SE块包括依次设置的一个全局平均池化层、两个全连接层和一个sigmoid层；
[0022]所述SA块的计算过程为：所述中间阶段特征图分别输入CR层，得到的特征连接后输入softmax层，得到空间权值，将所述空间权值与对应的所述中间阶段特征图的相乘结果相加得到所述中间阶段融合投影图；所述CR层包括两个连续的卷积，第一个所述卷积之后设置有一个ReLU函数。
[0023]进一步的，将所述OCT图像和OCTA图像的所述多模态投影图进行融合，生成特征图的过程为：
[0024]所述OCTA图像的所述多模态投影图减去所述OCT图像的所述多模态投影图，得到差模特征；
[0025]将所述差模特征输入SE块得到的通道权值；
[0026]将所述通道权值通过LeakyReLU层、门控单元α后，与所述OCT图像的所述多模态投影图相加，得到增强后OCT特征图；将所述通道权值通过门控单元β后，与所述OCTA图像的所述多模态投影图相加，得到增强后OCTA特征图；
[0027]所述增强后OCT特征图和增强后OCTA特征图连接生成特征图。
[0028]进一步的，将所述OCT图像和OCTA图像的多个所述中间阶段融合投影图进行融合，生成特征图的过程为：
[0029]将多个所述中间阶段融合投影图两两连接，生成多个复合特征图，再将多个所述中间阶段融合投影图相加，得到全特征图；
[0030]将所述复合特征图、全特征图分别依次通过fc层和sigmoid层，得到权值，所述fc层包括两个1x1卷积，第一个所述1x1卷积后设置有一个ReLU函数；
[0031]将所述权值分别与对应的所述中间阶段融合投影图、全特征图相乘，得到中间阶段增强特征图和全增强特征图；
[0032]将所有的所述中间阶段增强特征图相加后，与所述全增强特征图连接，对齐得到特征图。
[0033]进一步的，所述中间阶段融合投影图的数量为三个，分别为、和，则全特征图为，；
[0034]将所述复合特征图、全特征图分别依次通过fc层和sigmoid层，得到的权值、、和的计算公式分别为：
[0035]
[0036]
[0037]
[0038]；
[0039]其中，concat()表示连接，fc()表示通过fc层，Sigmoid()表示通过sigmoid层，
[0040]将所述权值分别与对应的所述中间阶段融合投影图、全特征图相乘，得到的中间阶段增强特征图、和，以及全增强特征图的计算公式分别为：
[0041]
[0042]
[0043]
[0044]
[0045]将所有的所述中间阶段增强特征图相加后，与所述全增强特征图连接，对齐得到的特征图的计算公式为：
[0046]。
[0047]进一步的，所述特征图、特征图和特征图输入基于U-Net的二维分割模块进行投影分割的过程为：
[0048]将所述特征图、特征图和特征图分别输入Encoder（编码器），得到特征、特征和特征；
[0049]所述特征、特征和特征输入特征交互模块，所述特征交互模块使用1x1卷积将特征和特征转化为Query向量，使用1x1卷积将特征转化为Key向量和Value向量，再利用所述Query向量、Key向量和Value向量，使用softmax获取特征与特征、特征与特征之间的相似度权值，然后在特征中加入两个所述相似度权值，得到增强的特征；
[0050]所述增强的特征输入Decoder（解码器），获得RV和FAZ的图像分割结果。
[0051]本发明实施例中的上述一个或多个技术方案，至少具有如下技术效果之一：
[0052]1.本发明通过数据增强方法减少过拟合，基于卷积神经网络，将体积数据根据OCT与OCTA本身的特点沿高分为若干个小块，并利用卷积操作，将高降为1，再把投影后的小块沿高连接，实现投影操作。本发明将投影过程划分了多个阶段，对OCT与OCTA数据在不同阶段进行融合，并共享剩余主干，可以同时准确地捕捉浅层空间信息和深层语义信息，并实现数据重用。
[0053]2.本发明对中间阶段融合投影图进行互补融合，对多模态投影图进行差分融合，利用特征的内在互补性和差异性进一步融合特征，缓解了不同模态不匹配和融合不足导致特征贡献不均匀和模态不平衡的问题。
[0054]3.本发明基于非局部神经网络设计了特征交互模块，改进U-Net，有效地捕获了特征之间的全局依赖关系，并防止网络偏向某一特征，从而增强了网络的分割能力。
[0055]4.本发明实现了RV和FAZ的自动分割，避免了手动分割的繁琐和人为因素的干扰，提高了分割结果的客观性。本发明可以为与RV和FAZ相关疾病的诊断和研究提供更客观精确的评估手段，可以快速和准确地分割出RV和FAZ。与最先进的RV和FAZ分割方法相比，本方法获得了最佳性能：在RV分割任务中，本方法的Dice、Jac和Bacc分别提高了0.07、0.08和0.16，而在FAZ分割任务中，本方法的Dice、Jac和Bacc分别提高了1.23、2.22和1.38。
[0056]本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
[0057]为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0058]图1是本发明提供的流程图。
[0059]图2是本发明提供的模型示意图。
[0060]图3是本发明提供的投影原理图。
[0061]图4是本发明提供的体积融合模块的结构示意图。
[0062]图5是本发明提供的SA块的结构示意图。
[0063]图6是本发明提供的中间阶段融合投影图的融合原理图。
[0064]图7是本发明提供的多模态差分融合模块的结构示意图。
[0065]图8是本发明提供的投影分割模块的结构示意图。
[0066]图9是本发明提供的特征交互模块的结构示意图。
[0067]图10是本发明提供的RV分割结果图。
[0068]图11是本发明提供的FAZ分割结果图。
具体实施方式
[0069]为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。以下实施例用于说明本发明，但不能用来限制本发明的范围。
[0070]在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明实施例的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
[0071]下面结合图1-图11对本发明做进一步详细说明，描述本发明的OCT和OCTA图像融合的视网膜血管图像分割方法：
[0072]本实施例中，如图1和图2所示，提供一种OCT和OCTA图像融合的视网膜血管图像分割方法，包括以下步骤：
[0073]步骤1：获取OCT图像、OCTA图像和投影图。本实施例中，使用的图像数据来自OCTA-500数据集中的子集OCTA_6M，由300名6mmx6mm FOV型正常人或患者的OCTA图像组成,其体积大小为400px×400px×640px。其标签图像大小为400px×400px。OCT图像和OCTA图像是3D图像，投影图是2D图像。
[0074]步骤2：对所述OCT图像和OCTA图像进行预处理。
[0075]所述预处理包括使用双线性插值调整图像大小和变换增广。
[0076]具体为：在垂直方向上，使用双线性插值对大小为640px的维度进行裁剪，仅保留128px，得到的样本大小为400px×400px×128px，目的是减少模型的参数。对一些样本做随机水平翻转、垂直翻转和90度旋转，进行变换增广，以缓解网络过拟合。
[0077]步骤3：对预处理后的所述OCT图像和OCTA图像进行多个阶段投影和融合，生成所述OCT图像和OCTA图像的多模态投影图和多个中间阶段融合投影图。
[0078]本发明提出了内核自适应单向卷积，基于内核自适应单向卷积设计了核自适应投影模块（KAPM）来实现投影的过程。如图3所示，多个阶段投影的过程为：将图像沿H维度划分为多个大小不同的patch，将所述patch的L维压缩，然后连接起来，通过多个阶段，将所述patch的L维逐步压缩至1，将3D图像投影成2D图像。由于在数据比较稀疏的数据边缘，希望捕捉到更完整的边缘特征，并有更大的感受野，因此为这些区域设置稍大的patch。同样，对于被认为是一个整体的FAZ，使用较大的patch。对于剩下的部分，希望提取更详细的特征，所以使用了更小的patch。因此，缘区域和FAZ区域划分的所述patch大于图像中其余区域划分的所述patch。
[0079]本实施例将投影的过程分成了四个阶段，依次使用KAPM1、KAPM2、KAPM3和KAPM4对预处理后的所述OCT图像和OCTA图像进行四个阶段的投影。
[0080]所述KAPM1包括依次设置的内核大小为(a,1,1)、步幅为(a,1,1)和内核大小为(a,3,3)、步幅为(a,1,1)的内核自适应单向卷积，所述KAPM1的输入大小为(128,W,H,1)，输出大小为(16,W,H,16)；
[0081]所述KAPM2包括依次设置的内核大小为(a,1,1)、步幅为(a,1,1)和内核大小为(a,3,3)、步幅为(a,1,1)的内核自适应单向卷积，所述KAPM2的输入大小为(16,W,H,16)，输出大小为(4,W,H,32)；
[0082]所述KAPM3包括依次设置的内核大小为(a,1,1)、步幅为(a,1,1)和内核大小为(a,3,3)、步幅为(a,1,1)的内核自适应单向卷积，所述KAPM3的输入大小为(4,W,H,32)，输出大小为(2,W,H,64)；
[0083]所述KAPM4包括依次设置的内核为(2,1,1,)/(2,3,3)/(2,5,5)、步幅为(2,1,1)的单项最大池化，以及内核大小为(a,1,1)、步幅为(a,1,1)和内核大小为(a,3,3)、步幅为(a,1,1)的内核自适应单向卷积，所述KAPM4的输入大小为(2,W,H,64)，输出大小为(1,W,H,128)。
[0084]所述KAPM1的结构可以表示为Kauconv(k=（a,1,1）,s=(a,1,1))、Kauconv(k=（a,3,3）,s=(a,1,1))。Kauconv为内核自适应单向卷积，即将数据沿高的维度分割成若干个小块，再进行单向卷积压缩维度，最后连接起来，k为核尺寸，s为步长。单向卷积为k=(x,y,y),s=(x,1,1)的普通三维卷积，其中x为数据的L维的长度，这样的操作可以将数据的L维变为1，达到压缩L维的目的。
[0085]预处理后的所述OCT图像和OCTA图像分别经过所有阶段投影，生成所述多模态投影图。即预处理后的所述OCT图像依次经过KAPM1、KAPM2、KAPM3和KAPM4，生成所述OCT图像的多模态投影图；预处理后的所述OCTA图像依次经过KAPM1、KAPM2、KAPM3和KAPM4，生成所述OCTA图像的多模态投影图。
[0086]如图4所示，本实施例中，使用的体积融合模块（VFM）实现所述中间阶段融合投影图的生成。VFM采用SE块来捕获OCT和OCTA体积数据在通道维上的相互依赖关系；随后，使用SA块捕获空间维度中的语义依赖关系。所述中间阶段融合投影图的生成过程为：将所述OCT图像和OCTA图像的所述中间阶段投影图连接后输入到SE块。所述SE块包括依次设置的一个全局平均池化层、两个全连接层和一个sigmoid层。SE块捕获中间阶段投影图后，利用全局平均池化层获得具有全局感受野的特征，然后利用两个全连接层和一个sigmoid层，获得分配给OCT和OCTA数据的通道权值。通道权值分别与所述OCT图像和OCTA图像的所述中间阶段投影图相乘，得到的中间阶段特征图，然后输入SA块。如图5所示，所述SA块的计算过程为：所述中间阶段特征图分别输入CR层。所述CR层包括两个连续的卷积，第一个所述卷积之后设置有一个ReLU函数，CR层可以将通道数减少到1。将CR层输出的特征连接后输入softmax层，得到空间权值。将所述空间权值与对应的所述中间阶段特征图的相乘结果相加，得到所述中间阶段融合投影图。
[0087]预处理后的所述OCT图像和OCTA图像分别经过相同数量的中间阶段投影生成中间阶段投影图，所述中间阶段投影图融合后再经过后续阶段的投影，生成所述中间阶段融合投影图，所述中间阶段投影的投影阶段数小于投影阶段总数，所述中间阶段融合投影图的数量为投影阶段总数减1。
[0088]本实施例中对预处理后的所述OCT图像和OCTA图像进行了四个阶段的投影，即投影阶段总数为四，相应的，会生成三个中间阶段融合投影图。例如：中间阶段投影的数量为1时，预处理后的所述OCT图像和OCTA图像分别经过KAPM1，对应生成两个中间阶段投影图，然后输入VFM进行融合，然后再依次经过KAPM2、KAPM3和KAPM4，生成一个中间阶段融合投影图。中间阶段投影的数量为2时，预处理后的所述OCT图像和OCTA图像分别经过KAPM1和KAPM2，对应生成另两个中间阶段投影图，然后输入VFM进行融合，然后再依次经过KAPM3和KAPM4，生成另一个中间阶段融合投影图。
[0089]步骤4：将所述OCT图像和OCTA图像的所述多模态投影图进行融合，生成特征图；将所述OCT图像和OCTA图像的多个所述中间阶段融合投影图进行融合，生成特征图。
[0090]将所述OCT图像和OCTA图像的多个所述中间阶段融合投影图输入多阶段互补融合模块（MCFM）进行融合，生成特征图的过程为：
[0091]将多个所述中间阶段融合投影图两两连接，生成多个复合特征图，再将多个所述中间阶段融合投影图相加，得到全特征图；
[0092]将所述复合特征图、全特征图分别依次通过fc层和sigmoid层，得到权值，所述fc层包括两个1x1卷积，第一个所述1x1卷积（1x1Conv）后设置有一个ReLU函数；
[0093]将所述权值分别与对应的所述中间阶段融合投影图、全特征图相乘，得到中间阶段增强特征图和全增强特征图；
[0094]将所有的所述中间阶段增强特征图相加后，与所述全增强特征图连接，对齐得到特征图。
[0095]本实施例中，所述中间阶段融合投影图的数量为三个，分别为、和，则全特征图为，；
[0096]将所述复合特征图、全特征图分别依次通过fc层和sigmoid层，得到的权值、、和的计算公式分别为：
[0097]
[0098]
[0099]
[0100]；
[0101]其中，concat()表示连接，fc()表示通过fc层，Sigmoid()表示通过sigmoid层，
[0102]将所述权值分别与对应的所述中间阶段融合投影图、全特征图相乘，得到的中间阶段增强特征图、和，以及全增强特征图的计算公式分别为：
[0103]
[0104]
[0105]
[0106]
[0107]将所有的所述中间阶段增强特征图相加后，与所述全增强特征图连接，对齐得到的特征图的计算公式为：
[0108]。
[0109]图6中展示了和连接后，通过fc层和sigmoid层，得到的权值，然后与和相乘，得到部分和的过程。所述MCFM利用空间注意机制捕捉不同融合阶段的互补特征，利用三个不同阶段融合的中间阶段融合投影图来获取不同阶段互补区域和共同区域的特征信息。
[0110]如图7所示，将所述OCT图像和OCTA图像的所述多模态投影图输入多模态差分融合模块（MDFM）进行融合，生成特征图的过程为：
[0111]所述OCTA图像的所述多模态投影图减去所述OCT图像的所述多模态投影图，得到血流信息的差模特征；
[0112]所述差模特征输入SE块，捕获通道间的依赖关系，得到的通道权值；
[0113]将所述通道权值通过LeakyReLU层、门控单元α后，与所述OCT图像的所述多模态投影图相加，得到增强后OCT特征图；将所述通道权值通过门控单元β后，与所述OCTA图像的所述多模态投影图相加，得到增强后OCTA特征图；门控单元α和门控单元β的功能是将差模特征添加到所述OCT图像和OCTA图像的所述多模态投影图中，进一步增强OCT和OCTA数据的血流特征；所述通道权值通过LeakyReLU层，可以减轻OCT中的冗余特性对OCTA的影响；
[0114]所述增强后OCT特征图和增强后OCTA特征图连接生成特征图。
[0115]所述MDFM是启发自差分放大器，放大OCTA中含有而OCT没有的血流信息，同时抑制冗余的特征。
[0116]MCFM和MDFM利用特征的内在互补性和差异性进一步融合特征，缓解了不同模态不匹配和融合不足导致特征贡献不均匀和模态不平衡的问题。
[0117]步骤5：将所述投影图、特征图和特征图相加生成特征图，对所述特征图、特征图和特征图进行投影分割，获得RV和FAZ的图像分割结果。
[0118]如图8和图9所示，本发明使用投影分割模块（PSM）进行分割互补特征、差异特征和融合特征。PSM是一个基于U-Net的二维分割模块，本发明使用U-Net分别对特征图、特征图和特征图进行分割。还在U-Net的Encoder和Decoder之间加入一个特征交互模块（FIM）来增强特征，防止网络偏向某一特征。
[0119]所述特征图、特征图和特征图输入PSM进行投影分割的过程为：
[0120]将所述特征图、特征图和特征图分别输入Encoder，得到特征、特征和特征；
[0121]所述特征、特征和特征输入特征交互模块，所述特征交互模块基于非局部网络，使用1x1卷积将特征和特征转化为Query向量，使用1x1卷积将特征转化为Key向量和Value向量，所述Query向量、Key向量相乘后通过softmax，再与Value向量相乘，得到特征与特征、特征与特征之间的相似度权值，然后在特征中加入两个所述相似度权值，得到增强的特征；
[0122]所述增强的特征输入Decoder，获得RV和FAZ的图像分割结果。
[0123]训练PSM时，如图8所示，PSM的损失函数为：
[0124]Loss(x1,x2,x3,label)=αLce(x1,label)+βLce(x2,label)+γLce(x3,label)
[0125]其中，x1、x2和x3代表三个U-Net的分割结果，label代表ground truth（标签），α、β和γ代表权重系数，Lce代表交叉熵损失函数。
[0126]本发明利用OCTA-500数据集中的子集OCTA_6M，采用本发明和多个先进方法进行OCT图像和OCTA图像的分割，获得RV和FAZ的图像分割结果如图10和图11所示。选择Dice、Jac和Bacc作为分割的评估指标，结果对比如表1所示。
[0127]表1 分割评估指标对比表
[0128]
[0129]Dice为预测的前景区域和真实的前景区域之间的重叠部分与它们的平均值之比，计算公式为：
[0130]；
[0131]Jac为交并比，计算公式为：
[0132]；
[0133]Bacc为均衡准确率，计算公式为：
[0134]；
[0135]其中，，，TP：被模型预测为正类的正样本；TN：被模型预测为负类的负样本；FP：被模型预测为正类的负样本；FN：被模型预测为负类的正样本；TPR：真正样本率，TNR：真负样本率。
[0136]试验证明本发明可以准确地分割出RV和FAZ。与最先进的RV和FAZ分割方法相比，本方法获得了最佳性能：在RV分割任务中，Dice、Jac和Bacc分别提高了0.07、0.08和0.16，而在FAZ分割任务中，Dice、Jac和Bacc分别提高了1.23、2.22和1.38。
[0137]最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。