专利详情

标题图像显著性物体检测方法和装置
[标]当前申请(专利权)人南开大学 | 华为技术有限公司
申请日2017年6月23日
申请号CN201710488970.4
公开(公告)日2022年7月19日
公开(公告)号CN109118459B
授权日-
法律状态/事件授权
专利类型授权发明
发明人侯淇彬 | 程明明 | 白蔚 | 周迅溢
受理局中国
当前申请人(专利权)地址300071 天津市南开区卫津路94号 (天津,天津,南开区)
IPC分类号G06T5/10 | G06T5/50 | G06N3/08 | G06V10/46
国民经济行业分类号O8129
代理机构北京龙双利达知识产权代理有限公司
代理人张振 | 张欣
被引用专利数量-
专利价值$ 390,000

摘要

本申请提供了一种图像显著性物体检测方法与装置。该方法包括:分别对待处理图像进行至少两个卷积层对应的卷积处理,得到待处理图像的至少两个第一特征图,至少两个第一特征图的分辨率小于待处理图像的分辨率,至少两个第一特征图中的任意两个第一特征图的分辨率不同;对至少两个集合中的叠加集合中包含的至少两个第一特征图进行叠加处理,从而得到待处理图像的至少两个第二特征图,其中,至少两个集合分别对应不同的分辨率,至少两个集合与至少两个第二特征图一一对应,叠加集合中包含的第一特征图的分辨率小于等于叠加集合对应的第二特征图的分辨率;对至少两个第二特征图拼接,得到显著性图。本申请能提高显著性物体检测的效果。

1.一种图像显著性物体检测方法,其特征在于,包括:

分别对待处理图像进行至少两个卷积层对应的卷积处理,得到所述待处理图像的至少两个第一特征图,所述至少两个第一特征图的分辨率小于所述待处理图像的分辨率,所述至少两个第一特征图中的任意两个第一特征图的分辨率不同;

对所述至少两个第一特征图进行处理,从而得到所述待处理图像的至少两个第二特征图,所述至少两个第二特征图中至少一个第二特征图由对所述至少两个第一特征图中的多个第一特征图进行叠加处理得到,所述至少两个第二特征图的任意两个第二特征图分辨率不同,其中,所述至少一个第二特征图的分辨率大于或者等于用于得到所述至少一个第二特征图中的所述多个第一特征图中的最大分辨率;

对所述至少两个第二特征图进行拼接,从而得到所述待处理图像的显著性图。

2.如权利要求1所述的方法,其特征在于,所述对所述至少两个第一特征图中的多个第一特征图进行叠加处理,包括:

对所述多个第一特征图中的分辨率小于所要得到的所述至少一个第二特征图的分辨率的第一特征图进行上采样,从而得到所述第一特征图对应的第三特征图,所述第三特征图的分辨率等于所要得到的所述至少一个第二特征图的分辨率;

将所述上采样的得到第三特征图与所述多个第一特征图中未经上采样的第一图特征图进行叠加处理,从而得到所述至少一个第二特征图。

3.如权利要求2所述的方法,其特征在于,所述将所述上采样的得到第三特征图与所述多个第一特征图中未经上采样的第一图特征图进行叠加处理,从而得到所述至少一个第二特征图,包括:

根据所述各个第三特征图或第一个特征图对应的权重,对所述上采样得到的第三特征图与所述多个第一个特征图中未经上采样的第一特征图进行叠加处理,从而得到所述至少一个第二特征图。

4.如权利要求3所述的方法,其特征在于,所述至少一个第三特征图中的每个第三特征图的权重是根据训练图像的显著性图与所述训练图像对应的参考显著性图的差异训练得到的。

5.如权利要求1-4中任一项所述的方法,其特征在于,所述对所述待处理图像的至少两个第二特征图进行拼接,得到所述待处理图像的显著性图,包括:

根据所述至少两个第二特征图各自对应的权重,对所述至少两个第二特征图进行拼接,得到所述待处理图像的显著性图。

6.如权利要求5所述的方法,其特征在于,所述至少两个第二特征图中的每个第二特征图的权重是根据训练图像的显著性图与所述训练图像对应的参考显著性图的差异确定的。

7.如权利要求2-4中任一项所述的方法,其特征在于,所述将所述上采样得到的第三特征图与所述多个第一个特征图中未经上采样的第一特征图进行叠加处理,从而得到所述至少一个第二特征图,包括:

将所述上采样得到的第三特征图与所述多个第一个特征图中未经上采样的第一特征图进行叠加、卷积以及池化处理得到所述至少一个第二特征图。

8.如权利要求1-4中任一项所述的方法,其特征在于,对所述至少两个第二特征图进行拼接,从而得到所述待处理图像的显著性图,包括:

对所述至少两个第二特征图进行卷积处理,以得到所述至少两个第二特征图的特征;

对所述至少两个第二特征图的特征进行拼接,从而得到所述待处理图像的显著性图。

9.如权利要求1-4中任一项所述的方法,所述方法还包括:

根据所述待处理图像对所述待处理图像的显著性图进行引导滤波,得到所述待处理图像的分割图像。

10.如权利要求9所述的方法,所述显著性图为第一显著性图,所述第一显著性图的分辨率小于所述待处理图像的分辨率,所述根据所述待处理图像对所述待处理图像的显著性图进行引导滤波,得到所述待处理图像的分割图像,包括:

对所述第一显著性图进行上采样,得到与所述待处理图像分辨率相同的第二显著性图;

根据所述待处理图像对所述第二显著性图进行引导滤波,得到所述待处理图像的分割图像。

11.一种图像显著性物体检测装置,其特征在于,包括:

卷积模块,用于分别对待处理图像进行至少两个卷积层对应的卷积处理,得到所述待处理图像的至少两个第一特征图,所述至少两个第一特征图的分辨率小于所述待处理图像的分辨率,所述至少两个第一特征图中的任意两个第一特征图的分辨率不同;

叠加模块,用于对所述至少两个第一特征图进行处理,从而得到所述待处理图像的至少两个第二特征图,所述至少两个第二特征图中至少一个第二特征图由对所述至少两个第一特征图中的多个第一特征图进行叠加处理得到,所述至少两个第二特征图的任意两个第二特征图分辨率不同,其中,所述至少一个第二特征图的分辨率大于或者等于用于得到所述至少一个第二特征图中的所述多个第一特征图中的最大分辨率;

拼接模块,用于对所述至少两个第二特征图进行拼接,从而得到所述待处理图像的显著性图。

12.如权利要求11所述的装置,其特征在于,所述叠加模块具体用于:

对所述多个第一特征图中的分辨率小于所要得到的所述至少一个第二特征图的分辨率的第一特征图进行上采样,从而得到所述第一特征图对应的第三特征图,所述第三特征图的分辨率等于所要得到的所述至少一个第二特征图的分辨率;

将所述上采样的得到第三特征图与所述多个第一特征图中未经上采样的第一图特征图进行叠加处理,从而得到所述至少一个第二特征图。

13.如权利要求12所述的装置,其特征在于,所述叠加模块具体用于:

根据所述各个第三特征图或第一个特征图对应的权重,对所述上采样得到的第三特征图与所述多个第一个特征图中未经上采样的第一特征图进行叠加处理,从而得到所述至少一个第二特征图。

14.如权利要求13所述的装置,其特征在于,所述至少一个第三特征图中的每个第三特征图的权重是根据训练图像的显著性图与所述训练图像对应的参考显著性图的差异训练得到的。

15.如权利要求11-14中任一项所述的装置,其特征在于,所述拼接模块具体用于:

根据所述至少两个第二特征图各自对应的权重,对所述至少两个第二特征图进行拼接,得到所述待处理图像的显著性图。

16.如权利要求15所述的装置,其特征在于,所述至少两个第二特征图中的每个第二特征图的权重是根据训练图像的显著性图与所述训练图像对应的参考显著性图的差异确定的。

17.如权利要求12-14中任一项所述的装置,其特征在于,所述叠加模块具体用于:

将所述上采样得到的第三特征图与所述多个第一个特征图中未经上采样的第一特征图进行叠加、卷积以及池化处理得到所述至少一个第二特征图。

18.如权利要求11-14中任一项所述的装置,其特征在于,所述拼接模块具体用于:

对所述至少两个第二特征图进行卷积处理,以得到所述至少两个第二特征图的特征;

对所述至少两个第二特征图的特征进行拼接,从而得到所述待处理图像的显著性图。

19.如权利要求11-14中任一项所述的装置,所述装置还包括:

滤波模块,用于根据所述待处理图像对所述待处理图像的显著性图进行引导滤波,得到所述待处理图像的分割图像。

20.如权利要求19所述的装置,所述显著性图为第一显著性图,所述第一显著性图的分辨率小于所述待处理图像的分辨率,所述滤波模块具体用于:

对所述第一显著性图进行上采样,得到与所述待处理图像分辨率相同的第二显著性图;

根据所述待处理图像对所述第二显著性图进行引导滤波,得到所述待处理图像的分割图像。

技术领域

[0001]本申请涉及计算机图像处理领域,并且更具体地,涉及一种图像显著性物体检测方法和装置。

背景技术

[0002]显著性物体检测是从图像中检测出最能够引起人眼视觉注意的物体区域的过程。现有的图像显著性物体检测方法是在现有卷积神经网络架构的基础上,对卷积神经网络架构进行微调从而实现对图像的显著性物体检测。具体地,如图1所示,卷积神经网络架构中的每个卷积层后面都连接有一个侧输出层,所有的侧输出层的后面共同连接一个融合层。在对图像进行处理时,待处理图像经过卷积层后分别输出不同分辨率的特征图,接下来,不同分辨率的特征图再分别经过侧输出层简单采样处理后得到侧输出特征图,最后融合层将从不同层次得到的侧输出特征图进行求和,得到待处理图像的显著性检测结果,进而实现对图像的显著性物体检测。但是由于不同侧输出层的侧输出特征图的显著性检测图像相差较大(浅层的特征图过于杂乱,深层提取到的特征图缺乏规律性),因此,在融合层直接将不同层次的侧输出特征图进行简单融合,那么最终得到的待处理图像的显著性检测结果并不理想。

发明内容

[0003]本申请提供一种图像显著性物体检测方法和装置,以提高图像显著性物体检测的效果。

[0004]第一方面,提供了一种图像显著性物体检测方法,所述方法包括:分别对待处理图像进行至少两个卷积层对应的卷积处理,得到所述待处理图像的至少两个第一特征图,所述至少两个第一特征图的分辨率小于所述待处理图像的分辨率,所述至少两个第一特征图中的任意两个第一特征图的分辨率不同;对至少两个集合中的叠加集合中包含的至少两个第一特征图进行叠加处理,从而得到所述待处理图像的至少两个第二特征图,其中,所述至少两个集合分别对应不同的分辨率,所述至少两个集合与所述至少两个第二特征图一一对应,所述叠加集合中包含的第一特征图的分辨率小于或者等于所述叠加集合对应的第二特征图的分辨率;对所述至少两个第二特征图进行拼接,从而得到所述待处理图像的显著性图。

[0005]在通过卷积处理得到了至少两个第一特征图之后,本申请不是像现有技术那样直接将该至少两个第一特征图进行叠加处理来得到最终的显著性图,而是先按照分辨率确定至少两个集合,并对其中的叠加集合中的包含的特征图进行叠加,然后再对各个集合得到的第二特征图进行拼接处理,以得到待处理图像的显著性图,而且在进行叠加和拼接的过程中,充分考虑了不同分辨率的特征图的特点,能够得到效果更好的显著性图。

[0006]具体地,例如,在对某个叠加集合中包含的至少两个第一特征图进行叠加处理时,可以根据该叠加集合中的较低分辨率的第一特征图来帮助定位较高分辨率的第一特征图的最显著的区域,另外,也可以根据较高分辨率的第一特征图来改进较低分辨率的第一特征图的稀疏和不规则性,这样最终对该叠加集合中的至少两个第二特征图叠加处理得到的第二特征图就能够较好地显示图图像中的显著性区域,接下来再对至少两个集合叠加处理后得到的至少两个第二特征图进行拼接后就能得到效果较好的显著性图。

[0007]应理解,上述叠加集合可以是指至少两个集合中包括至少两个第一特征图的集合,另外,上述至少两个集合除了包含叠加集合之外还可以包含其它集合,例如,上述至少两个集合中也可以包含仅有一个第一特征图的集合。当某个集合中仅包含一个第一特征图时,不对该集合中包含的第一特征图进行叠加,而是直接可以将该第一特征图确定为该集合对应的第二特征图。

[0008]还应理解,上述至少两个集合中的每个集合对应的分辨率可以是指对该集合中的第一特征图进行叠加处理后得到的第二特征图的分辨率。

[0009]另外,在分别对待处理图像进行至少两个卷积层对应的卷积处理时,采用的卷积处理的卷积核的大小可以为1,并且,进行至少两个卷积层对应的卷积处理的作用可以是从待处理图像提取显著性分割需要的特征图,接下来再对提取到的特征图进行进一步的处理,以得到待处理图像的显著性图。

[0010]结合第一方面,在第一方面的某些实现方式中,所述分别对至少两个集合中的叠加集合中包含的至少两个第一特征图进行叠加处理,包括:对所述叠加集合中的分辨率小于所述叠加集合对应的第二特征图的分辨率的第一特征图进行上采样,从而得到与所述叠加集合对应的第二特征图的分辨率相同的至少两个第三特征图,所述至少两个第三特征图与所述至少两个第一特征图一一对应;将所述至少两个第三特征图叠加,得到所述叠加集合对应的第二特征图。

[0011]应理解,上述叠加集合中的某些第一特征图的分辨率可能会小于该叠加集合对应的第二特征图的分辨率,这时,通过某些分辨率较小的第一特征图进行上采样,能够使得该叠加集合中的每个第一特征图的分辨率保持一致,保证了叠加处理的效果。

[0012]结合第一方面,在第一方面的某些实现方式中,所述将所述至少两个第三特征图叠加,得到所述叠加集合对应的第二特征图,包括:根据所述至少两个第三特征图各自对应的权重,对所述至少两个第三特征图进行叠加,得到所述第二特征图。

[0013]具体地,可以将至少两个第三特征图中的每个第三特征图对应的权重与每个第三特征图的像素值相乘,并对相乘后的结果进行加和,将加和得到的结果作为第二特征图的像素值,从而第二特征图。

[0014]结合第一方面,在第一方面的某些实现方式中,所述至少一个第三特征图中的每个第三特征图的权重是根据训练图像的显著性图与所述训练图像对应的参考显著性图的差异训练得到的。

[0015]上述训练图像的显著性图的获取流程与待处理图像的显著性图的获取流程可以是一致的。因此,在对待处理图像进行处理之前,可以先按照上述第一方面中的方法的流程来获取训练图像的显著性图,然后根据训练图像的显著性图与训练图像对应的参考显著性图的差异对上述至少一个第三特征图中的每个第三特征图的权重进行训练,从而得到每个第三特征图的权重。

[0016]结合第一方面,在第一方面的某些实现方式中,所述对所述待处理图像的至少两个第二特征图进行拼接,得到所述待处理图像的显著性图,包括:根据所述至少两个第二特征图各自对应的权重,对所述至少两个第二特征图进行拼接,得到所述待处理图像的显著性图。

[0017]具体地,可以将至少两个第二特征图中的每个第二特征图对应的权重与每个第二特征图的像素值相乘,然后将权重与像素值相乘的结果进行加和,将加和得到的像素值的结果作为待处理图像的显著性图的像素值,从而得到待处理图像的显著性图。

[0018]结合第一方面,在第一方面的某些实现方式中,所述至少两个第二特征图中的每个第二特征图的权重是根据训练图像的显著性图与所述训练图像对应的参考显著性图的差异确定的。

[0019]上述训练图像的显著性图的获取流程与待处理图像的显著性图的获取流程可以是一致的。因此,在对待处理图像进行处理之前,可以先按照上述第一方面中的方法的流程来获取训练图像的显著性图,然后根据训练图像的显著性图与训练图像对应的参考显著性图的差异对上述至少两个第二特征图中的每个第二特征图的权重进行训练,从而得到每个第二特征图的权重。

[0020]结合第一方面,在第一方面的某些实现方式中,所述对至少两个集合中的叠加集合中包含的至少两个第一特征图进行叠加处理,从而得到所述待处理图像的至少两个第二特征图,包括:对所述至少两个集合中的叠加集合中包含的至少两个第一特征图进行叠加处理;对所述叠加处理后得到的至少两个特征图进行卷积处理,以得到所述卷积处理后的至少两个特征图,其中,所述卷积处理用于提取所述叠加处理后得到的至少两个特征图的特征;对所述卷积处理得到的至少两个特征图进行池化处理,以得到所述至少两个第二特征图。

[0021]在对叠加处理之后得到的至少两个特征图进行卷积处理时的卷积核的大小可以为1,通过卷积处理,能够对叠加处理后得到的至少两个特征图进行整合收集,将特征图中高价值的特征凸显出来。

[0022]通过对叠加之后得到的至少两个特征图进行卷积处理和池化处理,能够进一步提取叠加后得到的图像的特征,并将提取的特征作为第二特征图,能够减少后续处理的运算量,另外,通过特征提取还能排除掉价值较小的特征,提高最终得到的显著性图的效果。

[0023]结合第一方面,在第一方面的某些实现方式中,对所述至少两个第二特征图进行拼接,从而得到所述待处理图像的显著性图,包括:对所述至少两个第二特征图进行卷积处理,以得到所述至少两个第二特征图的特征;对所述至少两个第二特征图的特征进行拼接,从而得到所述待处理图像的显著性图。

[0024]应理解,在对上述至少两个第二特征图进行卷积处理时的卷积核的大小可以为1,通过卷积处理,能够进一步提取第二特征图中的特征,使得处理后的图像中的局部特征之间更有区分度,从而得到更好的显著性检测效果。

[0025]在图像拼接之前先对图像进行卷积处理,能够进一步提取图像的特征,并将提取到的特征图作为后续拼接的基础,可以减少后续拼接的复杂度,并且通过特征提取还能排除掉价值较小的特征,从而能够提高最终得到的显著性图的效果。

[0026]结合第一方面,在第一方面的某些实现方式中,所述方法还包括:根据所述待处理图像对所述待处理图像的显著性图进行引导滤波,得到所述待处理图像的分割图像。

[0027]通过引导滤波能够进一步优化待处理图像的显著性图中的图像分割边缘,得到效果较好的分割图像。

[0028]结合第一方面,在第一方面的某些实现方式中,所述显著性图为第一显著性图,所述第一显著性图的分辨率小于所述待处理图像的分辨率,所述第三处理模块具体用于:对所述第一显著性图进行上采样,得到与所述待处理图像分辨率相同的第二显著性图;根据所述待处理图像对所述第二显著性图进行引导滤波,得到所述待处理图像的分割图像。

[0029]第二方面,提供了一种图像显著性物体检测装置,该装置包括用于执行所述第一方面或其各种实现方式中的方法的模块。

[0030]第三方面,提供一种图像显著性物体检测装置,该装置包括:存储介质,以及中央处理器,所述存储介质中存储有计算机可执行程序,所述中央处理器与所述存储介质连接,并执行所述计算机可执行程序以实现所述第一方面或其各种实现方式中的方法。

[0031]第四方面,提供一种计算机可读介质,所述计算机可读介质存储用于设备执行的程序代码,所述程序代码包括用于执行第一方面或其各种实现方式中的方法的指令。

附图说明

[0032]图1是现有的图像显著性物体检测方法的网络架构示意图。

[0033]图2是本申请实施例的图像显著性物体检测方法的示意性流程图。

[0034]图3是本申请实施例的卷积神经网络架构的示意图。

[0035]图4是对第一特征图进行处理的示意图。

[0036]图5是本申请实施例得到的显著性图与其它方法得到的显著性图的对比图。

[0037]图6是本申请实施例的图像显著性物体检测方法的示意性图。

[0038]图7是本申请实施例得到的显著性图与其它方法得到的显著性图的对比图。

[0039]图8是本申请实施例的图像显著性物体检测装置的示意性框图。

[0040]图9是本申请实施例的图像显著性物体检测装置的示意性框图。

具体实施方式

[0041]下面将结合附图,对本申请中的技术方案进行描述。

[0042]图2是本申请实施例的图像显著性物体检测方法的示意性流程图。图2的方法可以在卷积神经网络的网络架构中执行,图2的方法200具体包括:

[0043]210、分别对待处理图像进行至少两个卷积层对应的卷积处理,得到待处理图像的至少两个第一特征图,其中,该至少两个第一特征图的分辨率小于所述待处理图像的分辨率,该至少两个第一特征图中的任意两个第一特征图的分辨率不同。

[0044]在上述对待处理图像进行卷积处理时采用的卷积核的大小可以为1,并且,进行卷积处理的作用可以是从待处理图像提取显著性分割需要的特征图,接下来再对提取到的特征图进行进一步的处理,以得到待处理图像的显著性图。

[0045]上述待处理图像可以是需要处理的原始图像,也可以是对原始图像进行下采样处理后得到的图像。在获取图像的显著性图之前先对原始图像进行下采样处理,能够降低图像的分辨率,减少后续处理图像的复杂度。

[0046]上述第一特征图的分辨率可以小于待处理图像的分辨率,例如,待处理图像为分辨率256×256的图像,那么,第一特征图的分辨率可以是128×128、64×64、32×32、16×16、8×8等等。

[0047]另外,在对待处理图像进行卷积处理时,可以是在不同的卷积层分别对待处理图像进行卷积处理已得到具备不同分辨率的第一特征图,例如,待处理图像为分辨率256×256的图像,在4个卷积层对待处理图像进行卷积处理后得到分辨率分别为64×64、32×32、16×16、8×8的4个第一特征图。

[0048]220、对至少两个集合中的叠加集合中包含的至少两个第一特征图进行叠加处理,从而得到待处理图像的至少两个第二特征图,其中,至少两个集合分别对应不同的分辨率,至少两个集合与所述至少两个第二特征图一一对应,叠加集合中包含的第一特征图的分辨率小于或者等于叠加集合对应的第二特征图的分辨率。

[0049]应理解,上述步骤220中的叠加集合可以是指至少两个集合中包括至少两个第一特征图的集合,另外,上述至少两个集合除了包含叠加集合之外还可以包含其它集合,例如,上述至少两个集合中也可以包含仅有一个第一特征图的集合。当某个集合中仅包含一个第一特征图时,不对该集合中包含的第一特征图进行叠加,而是直接可以将该第一特征图确定为该集合对应的第二特征图。另外,还应理解,上述至少两个集合中的每个集合对应的分辨率可以是指对该集合中的第一特征图进行叠加处理后得到的第二特征图的分辨率。

[0050]具体地,例如,在对某个叠加集合中包含的至少两个第一特征图进行叠加处理时,可以根据该叠加集合中的较低分辨率的第一特征图来帮助定位较高分辨率的第一特征图的最显著的区域,另外,也可以根据较高分辨率的第一特征图来改进较低分辨率的第一特征图的稀疏和不规则性,这样最终对该叠加集合中的至少两个第二特征图叠加处理得到的第二特征图就能够较好地显示图图像中的显著性区域,接下来再对至少两个集合叠加处理后得到的至少两个第二特征图进行拼接后就能得到效果较好的显著性图。

[0051]下面结合具体的情况对得到上述至少两个集合的至少两个第二特征图进行说明,例如,对待处理图像进行卷积处理后得到四个第一特征图,该四个第一特征图分别为A、B、C、D,其中,A、B、C、D的分辨率分别为64×64、32×32、16×16、8×8,集合1至集合4对应的分辨率分别为64×64、32×32、16×16、8×8。那么,集合1中包含A、B、C和D,集合2包含B、C和D,集合3包含C和D,集合4仅包含D。其中,集合1至集合3中均包含至少两个第一特征图,因此,集合1至集合3可以被称为叠加集合,由于集合4仅包含一个第一特征图,因此,集合4不属于叠加集合。对于集合1来说,通过对A、B、C和D的叠加可以得到集合1对应的第二特征图,对于集合2来说,通过对B、C和D的叠加可以得到集合2对应的第二特征图,对于集合3来说,通过对C和D的叠加可以得到集合2对应的第二特征图,而对于集合4来说,由于仅包含D,因此,可以直接将D确定集合4对应的第二特征图。

[0052]可选地,上述步骤220中分别对至少两个集合中的叠加集合中包含的至少两个第一特征图进行叠加处理,具体包括:对叠加集合中的分辨率小于叠加集合对应的第二特征图的分辨率的第一特征图进行上采样,从而得到与叠加集合对应的第二特征图的分辨率相同的至少两个第三特征图,至少两个第三特征图与至少两个第一特征图一一对应;将至少两个第三特征图叠加,得到叠加集合对应的第二特征图。

[0053]应理解,上述叠加集合中的某些第一特征图的分辨率可能会小于该叠加集合对应的第二特征图的分辨率,这时,通过某些分辨率较小的第一特征图进行上采样,能够使得该叠加集合中的每个第一特征图的分辨率保持一致,保证了叠加处理的效果。

[0054]可选地,上述将至少两个第三特征图叠加,得到叠加集合对应的第二特征图,具体包括:根据至少两个第三特征图各自对应的权重,对至少两个第三特征图进行叠加,得到第二特征图。

[0055]应理解,上述根据至少两个第三特征图各自对应的权重,对至少两个第三特征图进行叠加具体可以是指:将至少两个第三特征图中的每个第三特征图对应的权重与每个第三特征图的像素值相乘,并对相乘后的结果进行加和,将加和得到的结果作为第二特征图的像素值,从而第二特征图。

[0056]例如,在对某个叠加集合中包含的三个第一特征图进行处理后,得到三个第三特征图,假设这三个特征图分别X,Y,Z,并且X,Y,Z的权重分别是30%、30%、40%,那么再对X,Y,Z进行叠加时,可以将X的像素值的30%、Y的像素值的30%以及Z的像素值的40%进行加和,将加和得到的结果作为叠加后得到的第二特征图W的像素值。

[0057]另外,上述至少一个第三特征图中的每个第三特征图的权重可以是根据训练图像的显著性图与所述训练图像对应的参考显著性图的差异训练得到的。

[0058]上述训练图像的显著性图的获取流程与待处理图像的显著性图的获取流程可以是一致的。因此,在对待处理图像进行处理之前,可以先按照上述第一方面中的方法的流程来获取训练图像的显著性图,然后根据训练图像的显著性图与训练图像对应的参考显著性图的差异对上述至少一个第三特征图中的每个第三特征图的权重进行训练,从而得到每个第三特征图的权重。

[0059]230、对至少两个第二特征图进行拼接,从而得到所述待处理图像的显著性图。

[0060]本申请中,在通过卷积处理得到了至少两个第一特征图之后,不像现有技术那样直接将该至少两个第一特征图进行叠加处理来得到最终的显著性图,而是先按照分辨率确定至少两个集合,并对其中的叠加集合中的包含的特征图进行叠加,然后再对各个集合得到的第二特征图进行拼接处理,以得到待处理图像的显著性图,而且在进行叠加和拼接的过程中,充分考虑了不同分辨率的特征图的特点,能够得到效果更好的显著性图。

[0061]具体地,例如,在对某个叠加集合中包含的至少两个第一特征图进行叠加处理时,可以根据该叠加集合中的较低分辨率的第一特征图来帮助定位较高分辨率的第一特征图的最显著的区域,另外,也可以根据较高分辨率的第一特征图来改进较低分辨率的第一特征图的稀疏和不规则性,这样最终对该叠加集合中的至少两个第二特征图叠加处理得到的第二特征图就能够较好地显示图图像中的显著性区域,接下来再对至少两个集合叠加处理后得到的至少两个第二特征图进行拼接后就能得到效果较好的显著性图。

[0062]可选地,作为一个实施例,上述步骤230中的对至少两个第二特征图进行拼接,从而得到所述待处理图像的显著性图具体包括:根据至少两个第二特征图各自对应的权重,对至少两个第二特征图进行拼接,得到待处理图像的显著性图。

[0063]应理解,根据至少两个第二特征图各自对应的权重对至少两个第二特征图进行拼接可以是将至少两个第二特征图中的每个第二特征图对应的权重与每个第二特征图的像素值相乘,然后将权重与像素值相乘的结果进行加和,将加和得到的像素值的结果作为待处理图像的显著性图的像素值,从而得到待处理图像的显著性图。

[0064]应理解,上述至少两个第二特征图中的每个第二特征图的权重可以是根据训练图像的显著性图与所述训练图像对应的参考显著性图的差异确定的。

[0065]另外,上述训练图像的显著性图的获取流程与待处理图像的显著性图的获取流程可以是一致的。因此,在对待处理图像进行处理之前,可以先按照上述第一方面中的方法的流程来获取训练图像的显著性图,然后根据训练图像的显著性图与训练图像对应的参考显著性图的差异对上述至少两个第二特征图中的每个第二特征图的权重进行训练,从而得到每个第二特征图的权重。

[0066]应理解,上述训练图像对应的参考显著性图可以是人工标记的显著性图,或者是机器识别出来的效果较好的显著性图。上述训练图像的显著性图与训练图像对应的参考显著性图的差异可以用损失函数的函数值来表示。在对权重进行训练的过程中,具体可以将损失函数的函数值的大小在卷积神经网络中反向传播,并对各个权重进行调整,具体地,在调整权重时可以沿着使得损失函数的函数值减小的方向进行,直到达到一个全局最优解(最终的调整结果可以是使得损失函数的函数值最小或者损失函数的函数值小于一定的阈值)。

[0067]具体地,在上述方法200中,一共有4个集合,这4个集合可以对应于图3中所示的路径1至路径4,其中,每个路径对该路径对应的第一特征图进行处理时的输出损失函数为那么,所有路径的输出损失函数为其中αm是第m个路径输出损失的权重,而在路径融合模块对该4个路径输出的4个第二特征图进行处理时的损失函数为Lfuse,那么,处理待处理图像的最终损失函数为Lfinal=Lfuse+Lside。这里的最终损失函数就可以指示上述训练图像的显著性图与训练图像对应的参考显著性图的差异。

[0068]可选地,作为一个实施例,在上述步骤220中对至少两个集合中的叠加集合中包含的至少两个第一特征图分别进行叠加处理具体包括:对至少两个集合中的叠加集合中包含的至少两个第一特征图进行叠加处理;对叠加处理后得到的至少两个特征图进行卷积处理,以得到卷积处理后的至少两个特征图,其中,卷积处理用于提取所述叠加处理后得到的至少两个特征图的特征;对卷积处理得到的至少两个特征图进行池化处理,以得到步骤220中的至少两个第二特征图。

[0069]应理解,在对叠加处理之后得到的至少两个特征图进行卷积处理时使用的卷积核的大小可以为1,通过对叠加处理之后得到的至少两个特征图进行卷积处理,能够对该至少两个特征图进行整合收集,将特征图中高价值的特征凸显出来。

[0070]通过对叠加之后得到的至少两个特征图进行卷积处理和池化处理,能够进一步提取叠加后得到的图像的特征,并将提取的特征作为第二特征图,能够减少后续处理的运算量,另外,通过特征提取还能排除掉价值较小的特征,提高最终得到的显著性图的效果。

[0071]可选地,作为一个实施例,上述步骤230中对所述待处理图像的至少两个第二特征图进行拼接具体包括:对至少两个第二特征图进行卷积处理,以得到至少两个第二特征图的特征;对至少两个第二特征图的特征进行拼接,从而得到待处理图像的显著性图。

[0072]在对上述至少两个第二特征图进行卷积处理时的卷积核的大小可以为1,通过卷积处理,能够进一步提取第二特征图中的特征,使得处理后的图像中的局部特征之间更有区分度,从而得到更好的显著性检测效果。

[0073]在图像拼接之前先对图像进行卷积处理,能够进一步提取图像的特征,并将提取到的特征图作为后续拼接的基础,可以减少后续拼接的复杂度,并且通过特征提取还能排除掉价值较小的特征,从而能够提高最终得到的显著性图的效果。

[0074]应理解,在上述步骤220和步骤230中,对至少两个集合中的叠加集合中包含的至少两个第一特征图进行叠加处理时相当于沿着不同的路径分别对至少两个第一特征图进行叠加处理,在对至少两个第二特征图进行拼接时相当于对至少两个不同路径得到的第二特征图进行拼接。例如,如图3所示,卷积神经网络架构包括4个层次(每个层次相当于一个卷积层),4个路径以及一个路径融合模块,其中,层次1至层次4分别对待处理图像(图3中所示的待处理图像的分辨率为256×256)进行卷积处理,得到分辨率分别为64×64、32×32、16×16、8×8的四个第一特征图。接下来分别沿着路径1至路径4对每个路径中的第一特征图进行处理,具体过程为:沿路径1对分辨率分别为64×64、32×32、16×16、8×8的四个第一特征图进行叠加处理,得到一个第二特征图;沿路径2对分辨率分别为32×32、16×16、8×8的三个第一特征图进行叠加处理,得到一个第二特征图;沿着路径3对分辨率分别为16×16、8×8的两个第一特征图进行叠加处理,得到一个第二特征图;沿着路径4对分辨率为8×8的第一特征图进行处理,得到一个第二特征图(在路径4中可以直接将分辨率为8×8的第一特征图直接确定为路径4对应的第二特征图)。最终沿着四个路径得到了四个第二特征图。接下来,路径融合模块再对路径1至路径4的第二特征图进行拼接,从而得到待处理图像的显著性图。此外,还应理解,沿着路径1至路径4中的每个路径对第一特征图进行处理时,每个路径中的第一特征图都有相应的权重,并且路径融合模块在对路径1至路径4的第二特征图进行拼接时,从每个路径获取的第二特征图也都有各自的权重。可以根据损失函数的函数值对这些权重进行训练,以得到这些权重。具体地,可以将损失函数的函数值沿着图3的架构反向传播,并沿着使得损失函数的函数值减小的方向调整这些权重,直到达到全局最优解(最终的调整结果可以是使得损失函数的函数值最小或者损失函数的函数值小于一定的阈值)。

[0075]另外,在图3所示的架构中,在沿着某个路径对至少两个第一特征图进行叠加处理之后并没有直接得到该路径对应的第二特征图,而是对该路径叠加得到的特征图再进行卷积处理和池化处理,然后得到该路径对应的第二特征图。类似地,路径融合模块在对路径1至路径4的第二特征图进行拼接之前,还可以先对路径1至路径4的第二特征图先进行卷积处理,然后再进行拼接。

[0076]应理解,假设某个叠加集合中包含分辨率分别为64×64、32×32、16×16、8×8的四个第一特征图,那么,对该叠加集合中的四个第一特征图进行处理相当于沿着图3中的路径1对分辨率分别为64×64、32×32、16×16、8×8的四个第一特征图进行处理。下面结合图4对沿着路径1对四个第一特征图进行处理的过程进行详细介绍。

[0077]如图4所示,分别获取层次1至层次4的第一特征图(从层次1至层次4获取的第一特征图的分辨率分别为64×64、32×32、16×16、8×8),按照64×64的分辨率对层次2至层次4获取的第一特征图分别进行上采样处理(由于层次1获取的第一特征图的分辨率为64×64,因此,不再对层次1获取的第一特征图进行上采样,而是可以直接对层次1获取的第一特征图进行正常的采样得到第三特征图),最终得到分辨率均为64×64的四个第三特征图;接下来,对分辨率均为64×64的四个第三特征图叠加,得到一个第四特征图;最后对第四特征图进行卷积处理和池化处理,此外,还可以利用激活函数,例如,现线性整流函数或者修正线性单元(Rectified Linear Units,ReLU)对卷积处理和池化处理得到的图像进行微调,最终得到路径1对应的第二特征图。

[0078]可选地,对待处理图像的至少两个第二特征图进行卷积、拼接,得到待处理图像的显著性图具体包括:对至少两个第二特征图进行上采样,得到分辨率相同的至少两个第二特征图;对至少两个第五特征图进行卷积、拼接,得到待处理图像的显著性图。

[0079]表1示出了本申请实施例的图像显著性物体检测的方法与其它方法的检测数据的比较结果,其中,ours表示本申请的方法的检测数据,RC[7]、CHM[29]、DSR[30]、DRFI[22]、MC[49]、ELD[12]、MDF[27]、DS[12]、RFCN[45]、DHS[34]以及DCL[28]对应的是其它方法的检测数据,并且Fβ值越高,MAE值越低,表示算法性能越好。由表1中的数据可知,本申请实施例的方法的Fβ值基本上都大于其它方法的Fβ值,并且本申请实施例的方法的MAE值基本上都小于其它方法的MAE值,因此,本申请实施例的方法取得了较好的效果。

[0080]表1

[0081]

[0082]另外,图5示出了本申请实施例的图像显著性物体检测的方法与其它方法对原始图像处理得到的显著性图的比较结果,其中,DCL、DHS、RFCN、DS、MDF、ELD、MC、DRFI以及DSR对应的是其它方法对原始图像处理得到的显著性图,由图5可知,与其它方法相比,本申请的方法得到的显著性图更接近于真实显著性图(该真实显著性图可以是人工标记得到的),因此,本申请的方法得到的显著性图的效果更好。

[0083]在得到待处理图像的显著性图之后,还可以结合待处理图像以及待处理图像的的显著性图来得到待处理图像的分割图像。具体地,可以根据待处理图像对待处理图像的显著性图进行引导滤波,得到待处理图像的分割图像。应理解,待处理图像的分割图像也可以视为显著性分布图中的一种。

[0084]通过引导滤波能够进一步优化待处理图像的显著性图中的图像分割边缘,得到效果较好的分割图像。

[0085]另外,假设,待处理图像的显著性图为第一显著性图,第一显著性图的分辨率小于待处理图像的分辨率,那么可以先对第一显著性图进行上采样处理,得到分辨率与待处理图像一致的第二显著性图,然后再对根据待处理图像对第二显著性图进行引导滤波,得到待处理图像的分割图像。

[0086]例如,待处理图像的显著性图的分辨率为64×64,而待处理图像的分辨率为256×256,那么,可以先将待处理图像的分辨率调整为256×256,然后再根据待处理图像对待处理图像的显著性图进行引导滤波,得到待处理图像的分割图像。

[0087]图6是本申请实施例的图像显著性物体检测方法的示意性图。该方法300具体包括:

[0088]310、获取原始图像。

[0089]这里的原始图像可以是包含人像的照片,该照片具体可以通过手机自拍得到的照片。

[0090]320、对原始图像进行下采样,然后通过训练好的卷积神经网络模型输出低分辨率的显著性图。

[0091]例如,原始图像的分辨率为256×256,那么,可以先对原始图像进行下采样,得到分辨率为128×128的图像。

[0092]应理解,这里的卷积神经网络模型可以如图3所示,并且对该卷积神经网络模型进行训练时,可以根据不同的场景采用不同的数据集,例如,在进行人像分割时,可以采用人像分割数据集对卷积神经网络模型进行训练,在进行车辆分割时,可以采用车辆分割数据集对卷积神经网络模型进行训练。

[0093]330、对步骤320得到的显著性图进行上采样,得到与原始图像大小相同的显著性图。

[0094]例如,原始图像的分辨率为256×256,步骤320得到的显著性图的分辨率为128×128,那么,可以通过上采样将显著性图的分辨率由128×128调整为256×256。

[0095]340、根据原始图像对步骤330最终得到的显著性图进行引导滤波,以得到待处理图像的分割图像。

[0096]应理解,通过引导滤波,能够实现对步骤330得到的显著性图的图像边缘进行优化,从而得到效果较好的分割图像。

[0097]经过上述步骤310至340可以得到原始图像的分割图像,接下来,可以基于该原始图像的分割图像对该原始图像进行人像美化,大光圈效果等处理,以实现对原始图像的美化处理,提高原始图像的显示效果。

[0098]应理解,本申请实施例的图像显著性物体检测的方法能够在多种场景下实现对图像中的物体的分割,例如,可以实现对图像中的人物、车辆、动物等重要目标的分割。下面结合实例一和实例二对本申请实施例的图像显著性物体检测的方法在人像分割以及车辆分割这两种较为常见的场景下的应用进行详细的介绍。

[0099]实例一:人像分割

[0100]410、利用人像分割数据集训练卷积神经网络模型。

[0101]该卷积神经网络模型可以如图3所示。

[0102]人像分割数据集包括人像图片(包含人像的图片)以及该人像图片对应的真实显著性分布图。另外,为了增加训练效果,还可以对图片进行镜像、旋转以及改变光照等处理,以避免对卷积神经网络训练时出现过拟合。

[0103]420、对于输入的人像图片Ih,首先下采样得到低分辨率的图片Il,然后通过训练好的卷积神经网络对下采样得到的低分辨率的图片进行处理,最终输出低分辨率的人像分割图像Sl。

[0104]对输入的人像图片首先做下采样处理,可以降低图像的分辨率,减少后续处理图像的复杂度。

[0105]430、对人像分割图像Sl进行上采样,得到与原先的人像图片大小相同的图片Sh;

[0106]440、根据人像图片Ih对图片Sh进行引导滤波,得到最终的人像分割图像。

[0107]具体地,假设上述引导滤波函数为f(·),那么滤波后的输出图像为:其中r为滤波半径,eps为平滑参数。经过引导滤波进一步优化了人像分割边缘,使得人像分割图像的边缘更加清晰。

[0108]现有技术在进行人像分割时,无法准确地贴合人像边缘,在图像的局部区域会出现误检或者漏检的情况,而本申请的方法能够在复杂的场景中准确定位人像,同时能够较为准确地贴合人像边缘,取得较好的分割效果。

[0109]具体来说,通过对输入的图片先进行下采样,能够得到分辨率较低的图像,然后在分辨率较低的图像上实现基本的人像分割。另外,本申请的方法无需手动交互就可以自动检测出图像中的人像,并实现人像的分割。

[0110]本申请的方法与现有技术的图像分割结果如图7所示,由图7可知,本申请实施例的图像显著性检测方法与现有方法相比,能够准确地将图像中具有显著性特征的物体区域区分出来,进行显著性分析的效果更好。

[0111]实例二:车辆分割

[0112]510、利用车辆分割数据集训练卷积神经网络模型;

[0113]520、对于输入的道路场景图片Ih,首先下采样得到低分辨率的图片Il,然后通过训练好的卷积神经网络对下采样得到的低分辨率的图片进行处理,最终输出低分辨率的车辆分割图像Sl。

[0114]530、对车辆分割图像Sl进行上采样,得到与原先的道路场景图片大小相同的图片Sh;

[0115]540、根据道路场景图片Ih对图片Sh进行引导滤波,得到最终的车辆分割图像。

[0116]应理解,以上只是本申请实施例的图像显著性物体检测的方法具体应用的两个场景,实质上,本申请实施例的图像显著性物体检测的方法还可以应用到别的场景下,只要采用该场景下的训练数据对卷积神经网络进行训练,然后再对待处理图像进行相应的处理,也能达到较好的效果。

[0117]本申请的方法能够在较低分辨率的图像上实现基本的车辆分割,在复杂多变的背景环境下也能保证语义的准确性,并且最后通过在高分辨率图像上进行引导滤波,能够保证边缘的细节程度。无需手动交互,既可以自动检测和分割图像片中的车辆,能够辅助自动驾驶进行决策,相对于其它现有方法,本发明能够有效地分割车辆边缘,提高对车辆位姿估计、车距等的判断能力。

[0118]下面再结合图3对本申请实施例的图像显著性物体检测方法进行详细的描述。

[0119]图3所示的模型是基于ResNet-101架构为基础的网络模型,在该网络模型中,一共有4个层次,4个路径(这里的路径相当于上文中的集合),以及一个多路径融合模块,其中,层次1至层次4对应的分辨率分别是64×64,32×32,16×16,8×8。4个路径中的每个路径分别接收4个层次中的至少一个层次的特征图作为输入,路径1接收4个层次(层次1至层次4)的特征图,路径2接收3个层次(层次2至层次4)的特征图,路径3接收2个层次(层次3至层次4)的特征图,路径4接收1个层次(层次4)的特征图。

[0120]假设待处理图像的分辨率为256×256,下面对图3所示的网络模型中的各个层次、各个路径以及路径融合模块的具体操作进行详细的描述。

[0121]610、层次1至层次4从待处理图像获取相应分辨率的特征图。

[0122]具体地,层次1至层次4分别从待处理图像获取分辨率为64×64,32×32,16×16,8×8的特征图。

[0123]620、路径1至路径4分别对至少一个层次的特征图进行融合。

[0124]具体地,以路径1为例,路径1接收层次1至层次4的特征图,并对路径1至路径4的特征图进行上采样,得到4个分辨率相同的图像,接下来,再对这4个分辨率相同的图像进行求和,得到求和后的特征图,然后再对求和后的特征图进行卷积处理和池化处理,并采用线性整流函数对卷积池化后的特征图进行微调,最终得到路径1的特征图。

[0125]630、多路径融合模块将路径1至路径4的特征图进行融合。

[0126]具体地,多路径融合模块对路径1至路径4的特征图进行上采样,采样得到分辨率大小为64×64的4个特征图,接下来,对这4个特征图进行卷积和拼接操作,最后再将卷积和拼接操作得到的特征图上采样到待处理图像的大小(分辨率128×128),得到待处理图像的显著性图。

[0127]应理解,图3所示的网络架构只是本申请实施例的方法的一种可能的架构,事实上,还可以在图3所示的网络架构的基础上进行若干改进和替换,例如,改变卷积层和路径的数目,改变路径与卷积层的对应关系等等,这些改进和替换得到网络架构都在本申请的保护范围内。

[0128]本申请实施例的图像显著性物体检测方法可以应用于对图片中的重要目标的分割。例如,在人像模式中,将图片中的人像与其它背景物体的分割,并对人像和背景分别进行不同的处理(例如,对人像进行美肤处理,对背景进行模糊处理,增强背景色彩,对背景的四角进行压暗处理等),从而最终达到突出人像、美化人像的艺术效果。具体地,本申请实施例的方法可以应用人像模式中的自拍照以及大光圈效果。本申请实施例的方法还可以应用在人像风格化、人像美化、人像背景编辑与合成(例如,证件照的生成,景点合影照的合成等)。具体地,在对原始图片进行显著性分析后得到该原始图片的显著性图,那么,接下来就可以根据分析得到的显著性图对原始图片中的人像进行风格化处理,或者对人像进行美化处理,或者对原始图片中的背景进行替换。

[0129]可选地,本申请实施例的方法还可以应用于对图像中感兴趣物体分割,物体识别等。

[0130]上文结合图2至图7对本申请实施例的图像显著性物体检测方法进行了详细的描述,下面结合图8和图9对本申请实施例的图像显著性物体检测装置进行描述,应理解,图8和图9中的装置能够执行上文中的图像显著性物体检测方法的相应步骤,为了简洁,下面适当省略重复的描述。

[0131]图8是本申请实施例的图像显著性物体检测装置的示意性框图。图8的装置800包括:

[0132]卷积模块810,用于分别对待处理图像进行至少两个卷积层对应的卷积处理,得到所述待处理图像的至少两个第一特征图,所述至少两个第一特征图的分辨率小于所述待处理图像的分辨率,所述至少两个第一特征图中的任意两个第一特征图的分辨率不同;

[0133]叠加模块820,用于对至少两个集合中的叠加集合中包含的至少两个第一特征图进行叠加处理,从而得到所述待处理图像的至少两个第二特征图,其中,所述至少两个集合分别对应不同的分辨率,所述至少两个集合与所述至少两个第二特征图一一对应,所述叠加集合中包含的第一特征图的分辨率小于或者等于所述叠加集合对应的第二特征图的分辨率;

[0134]拼接模块830,用于对所述至少两个第二特征图进行拼接,从而得到所述待处理图像的显著性图。

[0135]可选地,作为一个实施例,所述叠加模块820具体用于:对所述叠加集合中的分辨率小于所述叠加集合对应的第二特征图的分辨率的第一特征图进行上采样,从而得到与所述叠加集合对应的第二特征图的分辨率相同的至少两个第三特征图,所述至少两个第三特征图与所述至少两个第一特征图一一对应;将所述至少两个第三特征图叠加,得到所述叠加集合对应的第二特征图。

[0136]可选地,作为一个实施例,所述叠加模块820具体用于:根据所述至少两个第三特征图各自对应的权重,对所述至少两个第三特征图进行叠加,得到所述第二特征图。

[0137]可选地,作为一个实施例,所述至少一个第三特征图中的每个第三特征图的权重是根据训练图像的显著性图与所述训练图像对应的参考显著性图的差异训练得到的。

[0138]可选地,作为一个实施例,所述拼接模块830具体用于:根据所述至少两个第二特征图各自对应的权重,对所述至少两个第二特征图进行拼接,得到所述待处理图像的显著性图。

[0139]可选地,作为一个实施例,所述至少两个第二特征图中的每个第二特征图的权重是根据训练图像的显著性图与所述训练图像对应的参考显著性图的差异确定的。

[0140]可选地,作为一个实施例,所述叠加模块820具体用于:对所述至少两个集合中的叠加集合中包含的至少两个第一特征图进行叠加处理;对所述叠加处理后得到的至少两个特征图进行卷积处理,以得到所述卷积处理后的至少两个特征图,其中,所述卷积处理用于提取所述叠加处理后得到的至少两个特征图的特征;对所述卷积处理得到的至少两个特征图进行池化处理,以得到所述至少两个第二特征图。

[0141]可选地,作为一个实施例,所述拼接模块830具体用于:对所述至少两个第二特征图进行卷积处理,以得到所述至少两个第二特征图的特征;对所述至少两个第二特征图的特征进行拼接,从而得到所述待处理图像的显著性图。

[0142]可选地,作为一个实施例,所述装置800还包括:滤波模块840,用于根据所述待处理图像对所述待处理图像的显著性图进行引导滤波,得到所述待处理图像的分割图像。

[0143]可选地,作为一个实施例,所述显著性图为第一显著性图,所述第一显著性图的分辨率小于所述待处理图像的分辨率,所述滤波模块840具体用于:对所述第一显著性图进行上采样,得到与所述待处理图像分辨率相同的第二显著性图;根据所述待处理图像对所述第二显著性图进行引导滤波,得到所述待处理图像的分割图像。

[0144]图9是本申请实施例的图像显著性物体检测装置的示意性框图。图9的装置900包括:

[0145]存储器910,用于存储程序;

[0146]处理器920,用于执行所述存储器910存储的程序,当所述存储器910的程序被执行时,所述处理器920具体用于:分别对待处理图像进行至少两个卷积层对应的卷积处理,得到所述待处理图像的至少两个第一特征图,所述至少两个第一特征图的分辨率小于所述待处理图像的分辨率,所述至少两个第一特征图中的任意两个第一特征图的分辨率不同;对至少两个集合中的叠加集合中包含的至少两个第一特征图进行叠加处理,从而得到所述待处理图像的至少两个第二特征图,其中,所述至少两个集合分别对应不同的分辨率,所述至少两个集合与所述至少两个第二特征图一一对应,所述叠加集合中包含的第一特征图的分辨率小于或者等于所述叠加集合对应的第二特征图的分辨率;对所述至少两个第二特征图进行拼接,从而得到所述待处理图像的显著性图。

[0147]可选地,作为一个实施例,所述处理器920具体用于:对所述叠加集合中的分辨率小于所述叠加集合对应的第二特征图的分辨率的第一特征图进行上采样,从而得到与所述叠加集合对应的第二特征图的分辨率相同的至少两个第三特征图,所述至少两个第三特征图与所述至少两个第一特征图一一对应;将所述至少两个第三特征图叠加,得到所述叠加集合对应的第二特征图。

[0148]可选地,作为一个实施例,所述处理器920具体用于:根据所述至少两个第三特征图各自对应的权重,对所述至少两个第三特征图进行叠加,得到所述第二特征图。

[0149]可选地,作为一个实施例,所述至少一个第三特征图中的每个第三特征图的权重是根据训练图像的显著性图与所述训练图像对应的参考显著性图的差异训练得到的。

[0150]可选地,作为一个实施例,所述处理器920具体用于:根据所述至少两个第二特征图各自对应的权重,对所述至少两个第二特征图进行拼接,得到所述待处理图像的显著性图。

[0151]可选地,作为一个实施例,所述至少两个第二特征图中的每个第二特征图的权重是根据训练图像的显著性图与所述训练图像对应的参考显著性图的差异确定的。

[0152]可选地,作为一个实施例,所述处理器920具体用于:对所述至少两个集合中的叠加集合中包含的至少两个第一特征图进行叠加处理;对所述叠加处理后得到的至少两个特征图进行卷积处理,以得到所述卷积处理后的至少两个特征图,其中,所述卷积处理用于提取所述叠加处理后得到的至少两个特征图的特征;对所述卷积处理得到的至少两个特征图进行池化处理,以得到所述至少两个第二特征图。

[0153]可选地,作为一个实施例,所述处理器920具体用于:对所述至少两个第二特征图进行卷积处理,以得到所述至少两个第二特征图的特征;对所述至少两个第二特征图的特征进行拼接,从而得到所述待处理图像的显著性图。

[0154]可选地,作为一个实施例,所述处理器920还用于:根据所述待处理图像对所述待处理图像的显著性图进行引导滤波,得到所述待处理图像的分割图像。

[0155]可选地,作为一个实施例,所述显著性图为第一显著性图,所述第一显著性图的分辨率小于所述待处理图像的分辨率,所述处理器920具体用于:对所述第一显著性图进行上采样,得到与所述待处理图像分辨率相同的第二显著性图;根据所述待处理图像对所述第二显著性图进行引导滤波,得到所述待处理图像的分割图像。

[0156]本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。

[0157]所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统、装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。

[0158]在本申请所提供的几个实施例中,应该理解到,所揭露的系统、装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如至少两个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。

[0159]所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到至少两个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

[0160]另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。

[0161]所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(Random Access Memory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

[0162]以上所述,仅为本申请的具体实施方式,但本申请的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应以所述权利要求的保护范围为准。