本发明提供一种基于二次降质的水下显著物体目标检测方法,涉及目标检测技术领域,该方法包括:基于媒介透射分支及导向滤波法对原始图像进行卷积,并通过四叉树算法计算所述原始图像的全局背景光,获得水下增强图;对所述水下增强图进行二次降质无监督学习,获得二次增强图;对所述二次增强图及所述二次增强图对应的二次传输图进行多流特征提取,获得检测网络;通过所述检测网络对待检测图像进行水下显著物体目标检测。本发明能够提升了在复杂水下环境中显著性目标检测的适应性,提高了检测精度及鲁棒性。
1.一种基于二次降质的水下显著物体目标检测方法,其特征在于,包括:
S1:基于媒介透射分支及导向滤波法对原始图像进行卷积,并通过四叉树算法计算所述原始图像的全局背景光,获得水下增强图;
S2:对所述水下增强图进行二次降质无监督学习,获得二次增强图;
S3:对所述二次增强图及所述二次增强图对应的二次传输图进行多流特征提取,获得检测网络;
S4:通过所述检测网络对待检测图像进行水下显著物体目标检测。
2.根据权利要求1所述的一种基于二次降质的水下显著物体目标检测方法,其特征在于,步骤S1进一步包括:
S11:基于深度学习网络建立媒介透射分支对原始图像进行卷积,并通过导向滤波法对原始图像细化,获得媒介透射图;
S12:通过四叉树算法计算原始图像的全局背景光;
S13:通过所述媒介透射图及所述全局背景光对所述原始图像进行还原,获得水下增强图。
3.根据权利要求2所述的一种基于二次降质的水下显著物体目标检测方法,其特征在于,步骤S11进一步包括:
S111:选取ResNet网络作为主干网络;
S112:基于多头注意力机制,通过所述主干网络的多个批量化归一层及多个卷积层,对所述原始图像进行卷积,获得卷积图;
S113:通过导向滤波法对所述卷积图进行平滑处理,获得媒介透射图。
4.根据权利要求2所述的一种基于二次降质的水下显著物体目标检测方法,其特征在于,步骤S12进一步包括:
S121:将所述原始图像均分为四个一级矩形区块;
S122:对于每个一级矩形区块分别计算当前一级矩形区块的像素值均值及像素值方差,获得每个一级矩形区块的像素值均值及像素值方差的统计量差值;
S123:将所有一级矩形区块中所述统计量差值极大的一级矩形区块均分为四个二级矩形区块,并计算每个二级矩形区块的统计量差值,选择统计量差值极大的二级矩形区块进行进一步均分,直至均分的矩形区块大小小于预设阈值,获得多个次级矩形区块;
S124:由多个次级矩形区块中选取像素值极大的最大像素值矩形区块,将所述最大像素值矩形区块的像素最大值作为所述原始图像的全局背景光。
5.根据权利要求1所述的一种基于二次降质的水下显著物体目标检测方法,其特征在于,步骤S2进一步包括:
S21:对原始图像进行图像增强,获得一次增强图;
S22:对所述原始图像进行图像质量退化,获得二次降质图,并对所述二次降质图进行图像增强,获得二次增强图;
S23:通过所述二次增强图对所述一次增强图进行无监督学习。
6.根据权利要求5所述的一种基于二次降质的水下显著物体目标检测方法,其特征在于,步骤S21中的所述一次增强图的表达式为:
其中,为原始图像,为一次增强图,为水下增强图对应的传输图,为水下增强图的全局背景光;
步骤S22中的所述二次降质图的表达式为:
其中,为二次降质图,为用于二次降质的超参;
步骤S22中的所述二次增强图的表达式为:
其中,为二次增强图,为二次增强图对应的传输图。
7.根据权利要求1所述的一种基于二次降质的水下显著物体目标检测方法,其特征在于,步骤S2中,对所述水下增强图进行二次降质的损失的表达式为:
其中,为二次降质过程中的传输图损失,为用于二次降质的超参,为二次降质过程中的传输图的像素点,为一次增强图对应的一次传输图,二次增强图对应的二次传输图。
8.根据权利要求1所述的一种基于二次降质的水下显著物体目标检测方法,其特征在于,步骤S3中,对所述二次增强图及所述二次增强图对应的二次传输图进行特征提取,并对提取获得的特征由同一框架进行协同训练,以完成多源融合学习获得融合特征,所述融合特征的表达式为:
其中,为基于二次增强图及二次传输图进行双流特征提取获得的融合特征,为二次增强图对应的第一输入特征图,为二次传输图对应的第二输入特征图,为用于特征融合的权重。
9.根据权利要求7所述的一种基于二次降质的水下显著物体目标检测方法,其特征在于,步骤S4中的所述检测网络的损失函数的表达式为:
其中,为检测网络对应的总体损失函数,为分割损失,为二值交叉熵损失,为交并比损失,为图像增强损失,为像素空间损失,为灰色世界假设损失。
技术领域
[0001]本发明涉及目标检测技术领域,尤其涉及一种基于二次降质的水下显著物体目标检测方法。
背景技术
[0002]为了应对水下目标检测中的水下图像带来的模糊、色偏等固有问题,已经存在许多水下图像增强方法,一些工作通过使用图像增强方法对输入图像进行预处理,为后续检测方法提供增强图像。然而,这些方法可能受到两个限制:增强后的图像通常不是目标检测器所希望的,实验表明,在水下环境中,传统的图像增强方法对输入图像进行预处理可能会降低检测器的性能,因为这些传统的方法忽略了有助于目标检测的潜在信息,有时甚至产生误导检测器的失真图像;需要额外的数据集,与检测器联合训练的图像增强方法通常需要额外的成对图像增强数据集来支持增强模块的训练,然而,某些检测任务无法访问这些额外的数据集来使用这些方法。
[0003]尽管目前存在多种利用RGBD信息的显著性目标检测(RGBD-SOD)网络,但它们在水下环境中的应用仍面临着重大挑战,尤其是在深度信息的获取和利用方面,多数现有方法只使用RGB图像进行显著目标检测,少数考虑深度信息的方法则将深度信息作为一个预处理步骤,而非将其集成到检测流程中协同训练,这限制了模型在复杂水下环境中的性能和适应性。
发明内容
[0004]本发明旨在至少解决相关技术中存在的技术问题之一。为此,本发明提供一种基于二次降质的水下显著物体目标检测方法。
[0005]本发明提供一种基于二次降质的水下显著物体目标检测方法,包括:
S1:基于媒介透射分支及导向滤波法对原始图像进行卷积,并通过四叉树算法计算所述原始图像的全局背景光,获得水下增强图;
S2:对所述水下增强图进行二次降质无监督学习,获得二次增强图;
S3:对所述二次增强图及所述二次增强图对应的二次传输图进行多流特征提取,获得检测网络;
S4:通过所述检测网络对待检测图像进行水下显著物体目标检测。
[0006]根据本发明提供的一种基于二次降质的水下显著物体目标检测方法,步骤S1进一步包括:
S11:基于深度学习网络建立媒介透射分支对原始图像进行卷积,并通过导向滤波法对原始图像细化,获得媒介透射图;
S12:通过四叉树算法计算原始图像的全局背景光;
S13:通过所述媒介透射图及所述全局背景光对所述原始图像进行还原,获得水下增强图。
[0007]根据本发明提供的一种基于二次降质的水下显著物体目标检测方法,步骤S11进一步包括:
S111:选取ResNet网络作为主干网络;
S112:基于多头注意力机制,通过所述主干网络的多个批量化归一层及多个卷积层,对所述原始图像进行卷积,获得卷积图;
S113:通过导向滤波法对所述卷积图进行平滑处理,获得媒介透射图。
[0008]根据本发明提供的一种基于二次降质的水下显著物体目标检测方法,步骤S12进一步包括:
S121:将所述原始图像均分为四个一级矩形区块;
S122:对于每个一级矩形区块分别计算当前一级矩形区块的像素值均值及像素值方差,获得每个一级矩形区块的像素值均值及像素值方差的统计量差值;
S123:将所有一级矩形区块中所述统计量差值极大的一级矩形区块均分为四个二级矩形区块,并计算每个二级矩形区块的统计量差值,选择统计量差值极大的二级矩形区块进行进一步均分,直至均分的矩形区块大小小于预设阈值,获得多个次级矩形区块;
S124:由多个次级矩形区块中选取像素值极大的最大像素值矩形区块,将所述最大像素值矩形区块的像素最大值作为所述原始图像的全局背景光。
[0009]根据本发明提供的一种基于二次降质的水下显著物体目标检测方法,步骤S2进一步包括:
S21:对原始图像进行图像增强,获得一次增强图;
S22:对所述原始图像进行图像质量退化,获得二次降质图,并对所述二次降质图进行图像增强,获得二次增强图;
S23:通过所述二次增强图对所述一次增强图进行无监督学习。
[0010]根据本发明提供的一种基于二次降质的水下显著物体目标检测方法,步骤S21中的所述一次增强图的表达式为:
其中,为原始图像,为一次增强图,为水下增强图对应的传输图,为水下增强图的全局背景光;
步骤S22中的所述二次降质图的表达式为:
其中,为二次降质图,为用于二次降质的超参;
步骤S22中的所述二次增强图的表达式为:
其中,为二次增强图,为二次增强图对应的传输图。
[0011]根据本发明提供的一种基于二次降质的水下显著物体目标检测方法,步骤S2中,对所述水下增强图进行二次降质的损失的表达式为:
其中,为二次降质过程中的传输图损失,为用于二次降质的超参,为二次降质过程中的传输图的像素点,为一次增强图对应的一次传输图,二次增强图对应的二次传输图。
[0012]根据本发明提供的一种基于二次降质的水下显著物体目标检测方法,步骤S3中,对所述二次增强图及所述二次增强图对应的二次传输图进行特征提取,并对提取获得的特征由同一框架进行协同训练,以完成多源融合学习获得融合特征,所述融合特征的表达式为:
其中,为基于二次增强图及二次传输图进行双流特征提取获得的融合特征,为二次增强图对应的第一输入特征图,为二次传输图对应的第二输入特征图,为用于特征融合的权重。
[0013]根据本发明提供的一种基于二次降质的水下显著物体目标检测方法,步骤S4中的所述检测网络的损失函数的表达式为:
其中,为检测网络对应的总体损失函数,为分割损失,为二值交叉熵损失,为交并比损失,为图像增强损失,为像素空间损失,为灰色世界假设损失。
[0014]本发明提供的一种基于二次降质的水下显著物体目标检测方法,提出了MSH-Net(MultiSourceHydro Net)模型,从多源联合学习角度对现有模型进行了改进,与传统的RGB-USOD网络相比,MSH-Net通过结合水下图像增强技术和媒介透射信息,提高了水下显著性目标检测的精度和鲁棒性,区别于其他考虑图像增强的USOD模型,MSH-Net不仅仅是简单地使用增强图像作为输入,而是采用二次降质方法,从单一的RGB图像中获取二次透射信息并协同训练,使得模型可以在不需要额外图像的情况下对媒介透射分支生成的媒介透射信息进行监督,同时水下图像的增强和显著性检测能够在同一个网络架构中共同优化。
[0015]本发明提供的一种基于二次降质的水下显著物体目标检测方法,不仅增强了模型对水下特定环境的适应性,而且确保了增强水下图像直接适用于USOD任务,从而提高了检测的准确性和鲁棒性,通过这种创新的网络结构和训练方法,MSH-Net显著地提升了在复杂水下环境中显著性目标检测的性能。
[0016]本发明的附加方面和优点将在下面的描述中部分给出,部分将从下面的描述中变得明显,或通过本发明的实践了解到。
附图说明
[0017]为了更清楚地说明本发明或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
[0018]图1是本发明提供的一种基于二次降质的水下显著物体目标检测方法流程图。
具体实施方式
[0019]为使本发明的目的、技术方案和优点更加清楚,下面将结合本发明中的附图,对本发明中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。以下实施例用于说明本发明,但不能用来限制本发明的范围。
[0020]在本说明书的描述中,参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明实施例的至少一个实施例或示例中。在本说明书中,对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且,描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外,在不相互矛盾的情况下,本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
[0021]下面结合图1描述本发明的实施例。
[0022]本发明提供一种基于二次降质的水下显著物体目标检测方法,包括:
S1:基于媒介透射分支及导向滤波法对原始图像进行卷积,并通过四叉树算法计算所述原始图像的全局背景光,获得水下增强图;
在恶劣天气条件下,图像质量退化的影响可以通过一个图像形成物理模型来描述,该模型表示质量退化的图像,广泛应用于图像去雾和水下图像恢复算法中。
[0023]根据该模型,恢复原始图像的关键在于准确估计媒介透射图以及全局背景光,因此本发明在步骤S1阶段中建立水下增强模块,又将建立的水下增强模块分为媒介透射分支及全局背景光分支,上述的媒介透射图以及全局背景光通过设计的媒介透射分支和全局光照分支获得的。
[0024]其中的媒介透射分支利用深度学习网络,通过分析输入图像的局部和全局特征以及泛化先验指导来估算透射率,而全局光照分支则通过四叉树细分的方法来确定背景光的强度。
[0025]其中,步骤S1进一步包括:
S11:基于深度学习网络建立媒介透射分支对原始图像进行卷积,并通过导向滤波法对原始图像细化,获得媒介透射图;
其中,步骤S11进一步包括:
S111:选取ResNet网络作为主干网络;
S112:基于多头注意力机制,通过所述主干网络的多个批量化归一层及多个卷积层,对所述原始图像进行卷积,获得卷积图;
S113:通过导向滤波法对所述卷积图进行平滑处理,获得媒介透射图。
[0026]进一步的,水下图像增强中需要的媒介透射图由一个受到泛化先验指导的卷积模块生成,模块称为媒介透射分支,媒介透射分支的主干网络由三层嵌入了大核卷积的残差卷积层组成,分支接受泛化暗先验方法的监督以及后续SOD网络的损失回传。
[0027]首先通过嵌入具有大核卷积的ResNet50前三层来构建一个高效的媒介透射分支主干网络,ResNet以其残差连接的特征,能有效避免在深层网络中出现的梯度消失问题,这使得网络在训练时更为稳定。
[0028]对于每个编码器,其中包含多个残差块,每个残差块内部不仅采用批量归一化(Batch Normalization, BN)以优化训练过程,还采用了ReLU激活函数来增强模型的非线性处理能力,其中的大核卷积的尺寸被设置为32*32,不仅增强了网络对输入图像的空间理解能力,还通过更广的感受野,为网络引入了更多的形状偏置。
[0029]进一步的,通过在大核卷积的前后均使用了1×1的卷积层以及BN层,模仿视觉变换器(Vision Transformer, ViT)中的多头自注意力机制,提高了网络对不同特征的适应能力和区分度。
[0030]在估计媒介透射图阶段,因为水下环境中的媒介透射图常常伴随着模糊和噪声,所以采用了导向滤波作为后处理步骤以进一步精细化媒介透射图,导向滤波是一种边缘保持滤波器,能够在平滑图像的同时保持边缘信息,这对于透射图处理尤为重要。
[0031]S12:通过四叉树算法计算原始图像的全局背景光;
其中,步骤S12进一步包括:
S121:将所述原始图像均分为四个一级矩形区块;
S122:对于每个一级矩形区块分别计算当前一级矩形区块的像素值均值及像素值方差,获得每个一级矩形区块的像素值均值及像素值方差的统计量差值;
S123:将所有一级矩形区块中所述统计量差值极大的一级矩形区块均分为四个二级矩形区块,并计算每个二级矩形区块的统计量差值,选择统计量差值极大的二级矩形区块进行进一步均分,直至均分的矩形区块大小小于预设阈值,获得多个次级矩形区块;
S124:由多个次级矩形区块中选取像素值极大的最大像素值矩形区块,将所述最大像素值矩形区块的像素最大值作为所述原始图像的全局背景光。
[0032]在全局光照分支中,采用一种基于四叉树细分的方法来计算全局背景光,具体过程为:首先,将输入的图像分割为四个等大的矩形区块,对于每一个区块,计算其像素值的均值和方差,并将这两个统计量的差异(均值-方差)作为评价指标。
[0033]在这四个区块中,选择具有最大(均值-方差)值的区块进行进一步的细分,同样地,将该区块再次分割为四个更小的矩形区块。这一过程递归地持续进行,每次都选择(均值-方差)值最大的区块进行细分,直到区块的大小降至预设的阈值。
[0034]在最终的迭代中,从这些小区块中选择具有最大像素值的区块,将其像素最大值作为全局背景光的估计值,这种基于四叉树的递归细分方法,不仅提高了全局光照估计的精确度,也增强了方法的鲁棒性,使其更能适应不同的光照条件和环境变异。
[0035]S13:通过所述媒介透射图及所述全局背景光对所述原始图像进行还原,获得水下增强图。
[0036]在经过步骤S11至S12的处理后,将这些参数代入图像形成模型中,可以计算并重建出质量显著提高的恢复后图像,这种方法不仅显著增强了水下图像的视觉质量,而且通过联合学习的协同训练与水下显著物体分割任务相结合,从而提高了后续SOD网络的检测精度,使其在复杂水下环境中表现出更高的识别能力和更好的性能。
[0037]S2:对所述水下增强图进行二次降质无监督学习,获得二次增强图;
为了在不需要额外图像的情况下对水下图像增强模块生成的增强图像进行有效监督,保证其生成符合水下成像实际物理过程,需要设计合适的符合水下成像实际物理过程无监督学习方法,所以本阶段中为水下图像增强模块设计了一种可控二次降质无监督学习策略,因此水下图像增强模块可以在没有任何额外数据集的情况下与检测器一起训练。
[0038]其中,步骤S2进一步包括:
S21:对原始图像进行图像增强,获得一次增强图;
其中,步骤S21中的所述一次增强图的表达式为:
其中,为原始图像,为一次增强图,为水下增强图对应的传输图,为水下增强图的全局背景光;
S22:对所述原始图像进行图像质量退化,获得二次降质图,并对所述二次降质图进行图像增强,获得二次增强图;
其中,步骤S22中的所述二次降质图的表达式为:
其中,为二次降质图,为用于二次降质的超参;
步骤S22中的所述二次增强图的表达式为:
其中,为二次增强图,为二次增强图对应的传输图。
[0039]上述公式中,理论上无论是增强一次增强图还是二次增强图,都应该是未降质图像,即将输入水下图像增强模块应该得到,将输入水下图像增强模块应该得到,是控制二次增强图降质程度的超参数,其取值范围是0到1,其值在每轮训练中设置为在0.5到0.9之前进行随机选择,以提高无监督方法的鲁棒性。
[0040]另外从上述量公式中,可以知道可以从计算出,并使用共享参数的水下图像增强模块获得的传输图和对应的全局背景光,从理论上,根据获得的传输图应当与相同,根据这样的物理特性,即可以设计出实现无监督学习的二次传输图损失,即通过最小化获得的传输图与之间的相似性差距来优化水下图像增强模块,然后可以获得如下的传输图损失。
[0041]其中,步骤S2中,对所述水下增强图进行二次降质的损失的表达式为:
其中,为二次降质过程中的传输图损失,为用于二次降质的超参,为二次降质过程中的传输图的像素点,为一次增强图对应的一次传输图,二次增强图对应的二次传输图。
[0042]S23:通过所述二次增强图对所述一次增强图进行无监督学习。
[0043]在训练过程中,上述的传输图损失扮演了一个关键的角色,保证水下图像增强模块遵循物理规律来进行无监督学习。
[0044]在二次降质多源联合学习中,"二次降质"指的是水下图像增强模块使用的二次降质无监督学习方法,确保水下图像增强模块遵循物理原理进行无监督学习。
[0045]S3:对所述二次增强图及所述二次增强图对应的二次传输图进行多流特征提取,获得检测网络;
在特征融合阶段,将二次增强图像和二次传输图分别输入双流特征提取网络,以生成多模态的特征。
[0046]具有跳过连接的U—Net已经在像素级分割任务中显示出其有效性,因此双流特征提取网络通过类似 U-Net 的架构在编码器和解码器之间衔接特征,以在每个解码器中保留有价值的几何前验。
[0047]随后,采用特征融合策略,也就是建立注意力融合模块(AFM)进行特征融合,旨在将来自 RGB 特征和媒介透射的有价值的线索集成到跨模式融合特征中。
[0048]在注意力融合模块中设计了三个解码分支,分别处理增强水下图像、媒介透射和融合层次的特征,并将相应的输出相加,以生成最终的显著性图SMap。
[0049]在水下图像增强过程之后,二次增强图像和二次传输图一起被馈送到双流特征提取网络以生成分层特征,一般来说,从增强水下图像提取的特征包含丰富的语义信息和纹理信息,同时,媒介透射通道的特征包含更具辨别力的场景布局线索,这与 RGB 特征的特征互补,为了整合跨模态信息,本发明设计了名为注意力融合模块(AFM)的融合策略。
[0050]所提出的注意力融合模块(AFM)旨在从媒介透射和增强水下图像特征中挖掘并组合最具辨识性的通道,并生成更具信息量的特征,具体来说,对于来自不同分支的两个输入特征图 X 和 Y,AFM 操作使用注意力权重生成器M来实现,表达式如下。
[0051]其中,步骤S3中,对所述二次增强图及所述二次增强图对应的二次传输图进行特征提取,并对提取获得的特征由同一框架进行协同训练,以完成多源融合学习获得融合特征,所述融合特征的表达式为:
其中,为基于二次增强图及二次传输图进行双流特征提取获得的融合特征,为二次增强图对应的第一输入特征图,为二次传输图对应的第二输入特征图,为用于特征融合的权重。
[0052]上式中,为0到1范围内的实数,这一特性允许网络在输入特征和之间进行软选择或加权平均,该权重参数的关键在于通过改变空间池的大小,可以在多个尺度上实现注意力,在权重的选择中是通过点智卷积(PWConv)作为本地信道上下文聚合器,然后通过本地通道上下文和全局特征上下文进行累加,后通过西格玛函数处理后计算获得。
[0053]多源联合学习指的是水下图像增强模块产生的二次增强图像和二次传输图分别输入双流特征提取网络,以此生成多模态特征,并均通过联合训练的方法进行优化。这种方法的优势在于,通过将增强图像与包含深度信息的传输图共同输入双流网络,可以生成多模态特征,增强显著物体检测的精度,同时二者均采用联合训练的方式进行,使得从后续任务到图像增强和传输图计算的有效反向传播来指导图像增强和传输图的计算效果。
[0054]S4:通过所述检测网络对待检测图像进行水下显著物体目标检测。
[0055]在步骤S1至S3阶段后可以获得跨模态融合特征,它与从增强水下图像流和媒介透射流提取的原始特征一起,进一步馈送到三个独立的解码器,最后将三个解码器的预测相加以生成最终的显著性图SMap并接受真值图像监督。
[0056]其中,步骤S4中的所述检测网络的损失函数的表达式为:
其中,为检测网络对应的总体损失函数,为分割损失,为二值交叉熵损失,为交并比损失,为图像增强损失,为像素空间损失,为灰色世界假设损失。
[0057]进一步的,MSH-Net的损失由针对输出显著物体分割结果的分割损失、针对水下图像增强模块的图像增强损失以及针对二次降质无监督学习的二次传输图损失组成,分割损失包含两种损失的混合损失函数以对结果与真实值的差距进行综合评估,包含的两种损失分别为二值交叉熵(BCE)损失和交并比(IoU)损失,这种混合损失的有效性也在许多显著性目标分割任务中得到了验证。
[0058]需要注意的是,像素空间损失用于将增强后图像约束到图像像素空间,避免像素值上溢和下溢,而灰色世界假设损失是基于自然图像统计的灰度世界假设提出的损失,可以减少恢复图像中的色偏。
[0059]对于损失函数的设计,本发明考虑了SOD、二次传输图和水下图像增强三个层面的重要性。因此将三类损失相加作为最终的损失函数,共同优化整个网络,其中水下图像增强模块同时收到三个损失的反向传播,从而达到多源联合学习水下图像增强的效果,确保生成的增强水下图像直接适用于USOD任务,有助于USOD性能的提升。
[0060]本发明提供的一种基于二次降质的水下显著物体目标检测方法,提出了一种创新的网络模型,名为MSH-Net,旨在解决水下图像中的显著物体检测问题。MSH-Net的核心设计包括两个阶段:水下图像增强阶段和三流特征融合阶段。
[0061]在水下图像增强阶段,为了计算并重建出质量显著提高的恢复后图像,首先利用媒介透射分支和全局光照分支获得媒介透射图以及全局背景光,随后在此基础上进行二次降质无监督学习,获得二次增强图像和二次传输图,媒介透射分支利用深度学习网络,通过分析输入图像的局部和全局特征以及泛化先验指导来估算透射率;全局光照分支则通过四叉树细分的方法来确定背景光的强度。
[0062]在特征融合阶段,将二次增强图像和二次传输图分别输入双流特征提取网络,以生成多模态的特征,每个流都采用U-Net结构作为主干网络,随后,采用特征融合策略:注意力融合模块(AFM)旨在将来自 RGB 特征和媒介透射的有价值的线索集成到跨模式融合特征中,在特征融合阶段还设计了三个解码分支,分别处理RGB、媒介透射和融合层次的特征,并将相应的输出相加,以生成最终的显著性图SMap。
[0063]MSH-Net通过结合水下图像增强技术和媒介透射信息,提高了水下显著性目标检测的精度和鲁棒性。区别于其他考虑图像增强的USOD模型,MSH-Net不仅仅是简单地使用增强图像作为输入,而是采用二次降质方法,从单一的RGB图像中获取二次透射信息并协同训练,使得模型可以在不需要额外图像的情况下对媒介透射分支生成的媒介透射信息进行监督,同时水下图像的增强和显著性检测能够在同一个网络架构中共同优化。
[0064]这种集成方法不仅增强了模型对水下特定环境的适应性,而且确保了增强水下图像直接适用于USOD任务,从而提高了检测的准确性和鲁棒性,通过这种创新的网络结构和训练方法,MSH-Net显著地提升了在复杂水下环境中显著性目标检测的性能。
[0065]最后应说明的是:以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。