1.一种结合视觉目标检测的蔬果种类模式识别方法，其特征在于，包括：
基于卷积神经网络构建视觉神经网络，所述视觉神经网络包括两个卷积层、两个池化层、一个全连接层和一个线性分类层，其中的两个卷积层和两个池化层间隔交叉布置，上述的池化层均尾接非线性层；前后依次相连的卷积层和池化层用于提取图片的局部特征并且缩小张量维度；全连接层用于处理隐变量中复杂的内部关系；线性分类层用于获得该图片对应的各种类的估计概率；
所述视觉神经网络利用蔬果种类识别的历史数据训练作为辅助，采用梯度优化策略作为优化算子，在算法优化过程中对产生的图像特征进行种类预测，以视觉神经网络的分类结果驱动梯度优化器，对视觉神经网络进行优化。
2.根据权利要求1所述的蔬果种类模式识别方法，其特征在于，该方法包括训练流程和推理流程，其中：
所述训练流程包括：
步骤1-1)数据库初始化，从数据库中获取蔬果图片识别的历史数据，该数据库包含蔬果图片信息和与所述蔬果图片对应的果蔬的种类，所述果蔬的种类是种类标签；
步骤1-2)对所述图片数据以及种类信息进行预处理，分别得到统一形状的图片数据以及将与图片数据对应的种类标签进行预处理，将种类标签转化为独热编码形式；
步骤1-3)使用所述的视觉神经网络对果蔬图片进行处理后得到图片特征，使用线性分类层对图片特征进行识别获得对该果蔬图片的各种类估计概率；以最小化模型的种类输出与实际种类的交叉熵为优化目标，以计算该估计概率与标签的交叉熵作为损失，对损失求梯度后更新网络的参数，并重复图片特征提取之后步骤直至模型收敛；至此，训练出能够有效提取图像信息并进行蔬果分类的视觉神经网络模型；
所述推理流程包括：
步骤2-1)数据库初始化，从数据库中获取蔬果图片识别的历史数据，该数据库包含蔬果图片信息；
步骤2-2)对输入的蔬果图片进行预处理裁切为与训练流程中大小相同的图片；
步骤2-3)预处理后的图片信息作为视觉神经网络的输入，处理后得到表示其图片信息的嵌入向量；将各图片对应的嵌入向量作为训练好的视觉神经网络模型线性分类层的输入，使用该线性分类层对图片特征进行识别，获得对该果蔬图片的各种类估计概率；
步骤2-4)判断各种类的估计概率是否达到阈值；若无种类估计概率值达到阈值，则认为图片分类结果可信度较低进而报错；否则，将有着最大概率的种类作为索引检索该种类蔬果对应的单价作为输出结果；返回与该种类对应的单价；
步骤2-5)循环执行步骤2-1)至2-4)，直到得到所有蔬果图片对应的单价。
3.根据权利要求2所述的蔬果种类模式识别方法，其特征在于，步骤1-3)的具体步骤包括：
1-3-1)将预处理后的图片数据作为卷积神经网络模型的输入，处理后得到表示所述果蔬图片的嵌入向量，所述嵌入向量表示了图片特征；
1-3-2)将各图片数据对应的嵌入向量作为线性分类层的输入，获得该图片数据对应的各种类的估计概率；
1-3-3)根据图片数据的独热编码以及估计概率，计算二者之间的交叉熵作为损失；
1-3-4)对损失进行求导获得视觉神经网络以及线性分类层的梯度；
1-3-5)根据各参数梯度利用自适应矩估计优化器Adam对模型的参数进行优化，计算各参数的更新值；
1-3-6)依据更新值对视觉卷积神经网络以及线性分类层的参数进行更新；
1-3-7)循环执行步骤1-3-1)至1-3-6)，直至视觉神经网络及线性分类层收敛，表示损失在稳定的区间上下波动，结束训练。
4.根据权利要求3所述的蔬果种类模式识别方法，其特征在于，步骤1-3-5)中，将获取的蔬果种类识别数据作为建立蔬果种类识别的数学模型，量化计算蔬果种类识别设计，以蔬果种类推理准确率为目标函数，基于深度学习优化模型，利用自适应矩估计优化器Adam对模型的参数进行优化，其公式为：其中，θ表示模型的参数，表示损失函数的梯度；更新策略如下：
h＝W1(W2(Pool1(Conv1(Pool2(Conv2(I)))))

其中，I表示输入图片，W表示全连接层，Pool表示尾接非线性层的池化层，Conv表示卷积层，softmax表示softmax函数，L表示损失，CE表示交叉熵函数，θ表示模型的参数，表示损失函数的梯度，Adam表示自适应矩估计优化器。

技术领域
[0001]本发明涉及模式识别和农业科技两大领域，主要涉及一种结合视觉目标检测的蔬果种类模式识别算法。
背景技术
[0002]近年来，随着科技的发展和消费者需求的多样化，零售行业面临着许多挑战和机遇。例如，在蔬果种类识别方面，如何准确快速地识别出蔬果的种类及品质并进行结账，是无人值守超市等新型零售模式亟需解决的问题。然而，蔬果种类识别是一类复杂问题，存在识别准确率低，效率不高等问题，难以进行有效识别。
[0003]传统的模式识别算法是一类求解复杂识别问题常用且有效的手段，在多种图像识别问题中已经得到广泛应用，对于蔬果种类识别问题来说，可以从全局角度找到最佳识别模型。然而，这些算法在蔬果分类中存在一些挑战。首先，它们通常需要手动提取特征，如颜色、形状、纹理等，这需要专业知识，并且在复杂的环境中可能无法提取出有效的特征。其次，这些方法对图像的光照、角度、尺度等都比较敏感，如果环境条件发生变化，可能会影响识别效果。再者，传统模式识别方法计算复杂度较高，对于大规模的蔬果分类问题可能无法实时处理。最后，由于依赖于手动提取的特征和特定的分类器，传统模式识别方法的泛化能力可能较差，对于未见过的蔬果种类可能无法准确识别。因此，如何利用传统的模式识别算法在可接受时间内完成对蔬果种类的准确识别，同时克服其对图像噪声和光照变化的敏感性，是仍需解决的问题。
发明内容
[0004]针对上述现有技术，本发明提供一种结合视觉目标检测的蔬果种类模式识别算法，以解决现有技术中由于泛化能力差，评估耗时长等而导致的对蔬果种类识别结果差，搜索效率低的问题。
[0005]为了解决上述技术问题，本发明提出的一种结合视觉目标检测的蔬果种类模式识别方法，使用结合视觉目标检测的蔬果种类模式识别方法，用于解决现有蔬果种类识别方法中由于泛化能力差，评估耗时长而导致的对蔬果种类识别结果差，搜索效率低的问题；基于卷积神经网络构建的视觉神经网络包括两个卷积层、两个池化层、一个全连接层和一个线性分类层，其中的两个卷积层和两个池化层间隔交叉布置，上述的池化层后均尾接非线性层；前后依次相连的卷积层和池化层用于提取图片的局部特征并且缩小张量维度；全连接层用于处理隐变量中复杂的内部关系；线性分类层用于获得该图片对应的各种类的估计概率；其中，所述视觉神经网络利用蔬果种类识别的历史数据训练作为辅助，用神经网络替代手动提取特征的步骤，节省特征处理时间；采用梯度优化策略作为优化算子，在算法优化过程中对产生的图像特征进行种类预测，以视觉神经网络的分类结果驱动梯度优化器，对视觉神经网络进行优化。
[0006]进一步地，本发明所述的蔬果种类模式识别方法，主要包括训练流程和推理流程。
[0007]本发明所述的蔬果种类模式识别方法的训练流程包括：
[0008]步骤1-1)数据库初始化，从数据库中获取蔬果图片识别的历史数据，该数据库包含蔬果图片信息和与所述蔬果图片对应的果蔬的种类，所述果蔬的种类是种类标签；
[0009]步骤1-2)对所述图片数据以及种类信息进行预处理，分别得到统一形状的图片数据以及将与图片数据对应的种类标签进行预处理，将种类标签转化为独热编码形式；
[0010]步骤1-3)使用所述的视觉神经网络对果蔬图片进行处理后得到图片特征，使用线性分类层对图片特征进行识别获得对该果蔬图片的各种类估计概率；以最小化模型的种类输出与实际种类的交叉熵为优化目标，以计算该估计概率与标签的交叉熵作为损失，对损失求梯度后更新网络的参数，并重复图片特征提取之后步骤直至模型收敛；至此，训练出能够有效提取图像信息并进行蔬果分类的视觉神经网络模型；本发明中，所述的视觉神经网络特征提取策略是以蔬果种类识别的历史数据训练视觉神经网络，在算法优化过程中对产生的图像特征进行种类预测，替代手动提取特征的步骤，节省算法优化时间。
[0011]进一步地，步骤1-3)的具体步骤包括：
[0012]1-3-1)将预处理后的图片数据作为卷积神经网络模型的输入，处理后得到表示所述果蔬图片的嵌入向量，所述嵌入向量表示了图片特征；
[0013]1-3-2)将各图片数据对应的嵌入向量作为线性分类层的输入，获得该图片数据对应的各种类的估计概率；
[0014]1-3-3)根据图片数据的独热编码以及估计概率，计算二者之间的交叉熵作为损失；
[0015]1-3-4)对损失进行求导获得视觉神经网络以及线性分类层的梯度；
[0016]1-3-5)根据各参数梯度利用自适应矩估计优化器Adam对模型的参数进行优化，计算各参数的更新值；
[0017]1-3-6)依据更新值对视觉卷积神经网络以及线性分类层的参数进行更新；
[0018]1-3-7)循环执行步骤1-3-1)至1-3-6)，直至视觉神经网络及线性分类层收敛，表示损失在稳定的区间上下波动，结束训练。
[0019]其中，步骤1-3-5)中，将获取的蔬果种类识别数据作为建立蔬果种类识别的数学模型，量化计算蔬果种类识别设计，以蔬果种类推理准确率为目标函数，基于深度学习优化模型，利用自适应矩估计优化器Adam对模型的参数进行优化，其公式为：其中，θ表示模型的参数，表示损失函数的梯度；更新策略如下：
[0020]h＝W1(W2(Pool1(Conv1(Pool2(Conv2(I))))))
[0021]
[0022]
[0023]其中，I表示输入图片，W表示全连接层，Pool表示尾接非线性层的池化层，Conv表示卷积层，softmax表示softmax函数，L表示损失，CE表示交叉熵函数，θ表示模型的参数，表示损失函数的梯度，Adam表示自适应矩估计优化器。
[0024]本发明所述的蔬果种类模式识别方法的推理流程包括：
[0025]步骤2-1)数据库初始化，从数据库中获取蔬果图片识别的历史数据，该数据库包含蔬果图片信息；
[0026]步骤2-2)对输入的蔬果图片进行预处理裁切为与训练流程中大小相同的图片；
[0027]步骤2-3)预处理后的图片信息作为视觉神经网络的输入，处理后得到表示其图片信息的嵌入向量；将各图片对应的嵌入向量作为训练好的视觉神经网络模型线性分类层的输入，使用该线性分类层对图片特征进行识别，获得对该果蔬图片的各种类估计概率；
[0028]步骤2-4)判断各种类的估计概率是否达到阈值；若无种类估计概率值达到阈值，则认为图片分类结果可信度较低进而报错；否则，将有着最大概率的种类作为索引检索该种类蔬果对应的单价作为输出结果；返回与该种类对应的单价；
[0029]步骤2-5)循环执行步骤2-1)至2-4)，直到得到所有蔬果图片对应的单价。
[0030]与现有技术相比，本发明的有益效果是：
[0031]本发明方法中，将获取的蔬果种类识别数据作为建立蔬果种类识别的数学模型，量化计算蔬果种类识别设计，以蔬果种类推理准确率为目标函数，采用深度学习优化算法，提高对图像空间的全局信息提取能力，解决了现有技术在求解蔬果种类识别问题时全局性较差的问题。
[0032]本发明方法中，利用蔬果种类识别的历史数据训练视觉神经网络作为辅助，用神经网络代替传统模式识别算法过程中的大部分蔬果种类特征提取过程，节省性能模拟分析时间，解决了现有技术在求解蔬果种类识别问题时难以实时得到结果的问题。
[0033]本发明方法中，将视觉神经网络的分类特性与深度学习算法的优化特性相结合，以分类结果驱动深度学习优化，提高对蔬果种类识别的能力，解决了现有技术在求解蔬果种类识别问题时优化结果差，搜索效率低的问题。
附图说明
[0034]为了更清楚地说明本发明的实施方式或现有技术中的技术方案，下面将对实施方式或现有技术描述中所需要使用的附图作简单地介绍。显而易见地，下面描述中的附图仅仅是示例性的，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图引伸获得其它的实施附图。
[0035]图1为本发明蔬果种类模式识别方法实施例的算法流程图；
[0036]图2为本发明蔬果种类模式识别方法实施例的流程框图；
[0037]图3为本发明蔬果种类模式识别方法实施例的视觉神经网络示意图。
具体实施方式
[0038]本发明提出的一种结合视觉目标检测的蔬果种类模式识别方法的设计思路是，为了解决现有蔬果种类识别方法由于泛化能力差，评估耗时长而导致的规蔬果种类识别结果差，搜索效率低的问题；本发明使用基于卷积神经网络与深度学习算法，采用视觉神经网络作为特征提取器，利用带有种类信息的蔬果图片历史数据训练模型，用神经网络替代手动提取特征的步骤，节省特征处理时间；以分类结果驱动梯度优化器，对视觉神经网络及特征提取器进行优化。所述视觉神经网络利用蔬果种类识别的历史数据训练作为辅助，在算法优化过程中对产生的图像特征进行种类预测，用神经网络代替手动提取特征的步骤，节省特征处理时间，其中，将梯度优化策略作为优化算子，以视觉神经网络的分类结果驱动梯度优化器，对视觉神经网络进行优化。
[0039]以下由特定的具体实施例说明本发明的实施方式，熟悉此技术的人士可由本说明书所揭露的内容轻易地了解本发明的其他优点及功效，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0040]本实施例中，蔬果种类识别可以应用于不同类型的蔬果，例如苹果、香蕉、橙子等，识别目标在于准确快速地识别出蔬果的种类并返回单价。实施例中，实现一种基于视觉神经网络辅助的深度学习优化算法，经过深度学习，找到一组比较优化的蔬果种类识别视觉神经网络参数。
[0041]图1示出了本发明蔬果种类模式识别方法实施例的流程图，包括步骤：
[0042]S1：获取蔬果图片识别的历史数据，包括图片文件数据以及对应的蔬果种类信息；
[0043]S2：对图片文件数据以及蔬果种类信息进行预处理，分别得到统一形状的图片数据以及种类信息的独热编码；
[0044]S3：采用结合视觉目标检测的蔬果种类模式识别算法，以最小化模型的种类输出与实际种类的交叉熵为优化目标，训练出能够有效提取图像信息并进行蔬果分类的卷积神经网络模型；
[0045]S4：结合训练好的视觉神经网络，对无标签的蔬果图像进行信息提取，输出对该图片中蔬果种类的估计。获取估计种类后输出对应种类的蔬果单价。
[0046]本实施例中，蔬果种类识别可以应用于不同类型的蔬果，例如苹果、香蕉、橙子等，识别目标在于准确快速地识别出蔬果的种类并返回单价。实施例1中，实现一种基于视觉神经网络辅助的深度学习优化算法，经过深度学习，找到一组比较优化的蔬果种类识别视觉神经网络参数。
[0047]参见图2，本实施例实现的方法步骤包括：首先对数据库进行初始化：对于推理流程该数据库包含蔬果图片信息，对于训练流程则还将包含蔬果的种类；对数据进行预处理，将图片裁切为有着相同边长的正方形图片并将种类标签转化为独热编码形式；使用卷积神经网络对图片进行处理后得到图片特征；使用线性分类层对图片特征进行识别获得对该图片的各种类估计概率；若为训练过程，则将计算该估计概率与标签的交叉熵作为损失，对损失求梯度后更新网络的参数，并重复图片特征提取之后步骤直至模型收敛；若为推理过程，则判断各种类的预计概率是否达到阈值；若无种类估计值达到阈值，则认为图片分类结果可信度较低进而报错；若存在达到阈值的种类，则将有着最大概率的种类作为索引检索该种类蔬果对应的单价作为输出结果。
[0048]本实施例中，S2对图片文件数据以及蔬果种类信息进行预处理，分别得到统一形状的图片数据以及种类信息的独热编码，包括：
[0049]S21：将图片文件数据进行处理，将其转化为边长相同的正方形图片x；
[0050]S22：获取所有蔬果种类的数目作为编码长度N，为每一个图片给出一个对应的独热编码作为种类标签y；
[0051]本实施例中，S3：采用结合视觉目标检测的蔬果种类模式识别算法，以最小化模型的种类输出与实际种类的交叉熵为优化目标，训练出能够有效提取图像信息并进行蔬果分类的卷积神经网络模型；其中训练流程具体步骤包括：
[0052]S31：将预处理后的图片信息作为卷积神经网络的输入，处理后得到表示其信息的嵌入向量h；
[0053]S32：将各图片对应的嵌入向量h作为线性分类层的输入，获得该图片对应的各种类的估计概率ˉy；
[0054]S33：根据图片的标签y以及估计概率，计算二者之间的交叉熵作为损失l；
[0055]S34：对损失进行求导获得卷积神经网络以及线性分类层的梯度；
[0056]S35：根据各参数梯度利用优化器计算各参数的更新值；
[0057]S36：依据更新值对卷积神经网络以及线性分类层的参数进行更新；
[0058]S37：循环执行步骤S31至S36，直至卷积神经网络及线性分类层收敛，即损失在稳定的区间上下波动。
[0059]本实施例中，S4：结合训练好的视觉神经网络，对无标签的蔬果图像进行信息提取，输出对该图片中蔬果种类的估计，获取估计种类后输出对应种类的蔬果单价。其中，推理流程具体步骤包括：
[0060]S41：对输入图像进行预处理裁切为与训练过程中大小相同的长方形图片x；
[0061]S42：将预处理后的图片信息作为卷积神经网络的输入，处理后得到表示其信息的嵌入向量h；
[0062]S43：将各图片对应的嵌入向量h作为线性分类层的输入，获得该图片对应的各种类的估计概率y；
[0063]S44：判断是否有种类概率超过阈值，若均未超过阈值则提示错误，否则输出最大概率的种类。
[0064]S45：依据种类返回其对应的单价；
[0065]S46：循环执行步骤S41至S45，直到算法达到终止条件，即所有图片都被处理完毕。
[0066]参见图2，本实施例提供的一种结合视觉目标检测的蔬果种类模式识别算法流程图，具体来说，包括如下步骤：
[0067]1)数据库初始化：本发明的数据库主要包含两个部分：
[0068]用于训练过程中的种类标签Y＝{y_i|i＝1,2,…,N；y_i＝1,2,…,D}；
[0069]其中N表示标签数量，D表示种类数量；
[0070]作为输入的蔬果图片I＝{x_i|i＝1,2,…,N；x_i∈R^(H×W×C)}；
[0071]其中H、W表示图片的长和宽，C表示图片的信道数；
[0072]2)数据预处理：对标签进行预处理将其转化为独热向量Y^'＝{y_i^'|y_(i,j)^'＝1if y_i＝j,else y_(i,j)^'＝0,i＝1,2,…,N,j＝1,2,…,D}；对图片进行裁切得到等尺寸的正方形图片I^‘＝{x_i|i＝1,2,…,N；x_i∈R^(S×S×C)}；
[0073]其中S表示转换后图片的尺寸
[0074]3)使用神经网络提取图片特征：参见图3，本实施例中基于卷积神经网络的视觉神经网络示意图；该视觉神经网络由两个卷积层、两个池化层、一个全连接层和一个线性分类层组成，其中每个池化层后都有添加非线性处理(未在图中表示)；卷积层被用于提取图片的局部特征；池化层接在卷积层之后，能够高效提取局部特征并且缩小张量维度；全连接层用于处理隐变量中复杂的内部关系，并得到图片的特征向量，线性分类层用于获得该图片对应的各种类的估计概率；提取特征全过程的公式如下：
[0075]h＝W_1(W_2(〖Pool〗_1(〖Conv〗_1(〖Pool〗_2(〖Conv〗_2(I^‘))))))
[0076]其中W表示全连接层，Pool表示尾接非线性层的池化层，Conv表示卷积层；
[0077]4)预测种类概率：本发明利用一个线性分类层将图片特征映射为各种类的估计概率，其公式描述如下：
[0078]ˉY＝softmax(W(h))
[0079]其中W表示线性分类层，softmax表示softmax函数。
[0080]5)损失计算：本发明通过计算标签的独热向量与模型预测概率的交叉熵作为损失函数，其公式表达如下：L＝CE(Y^',ˉY)；
[0081]其中L表示损失，CE表示交叉熵函数
[0082]6)参数更新：本发明利用Adam优化器对模型的参数进行优化，其公式如下：
[0083]其中θ表示模型的参数，表示损失函数的梯度，Adam表示自适应矩估计优化器；
[0084]7)概率阈值判断及结果选取：选取有着最大选择概率p_max＝max(ˉY)与阈值∈进行比较，如果p_max<∈，说明模型对图像种类不确定，可能没有已知种类的蔬果存在或者有多种蔬果同时存在，此时模型将提示错误；反之模型将输出y＝argmax(ˉY)作为对图像种类的估计，并输出对应的单价；
[0085]综上，本发明方法中，以获取的蔬果种类识别数据作为建立蔬果种类识别的数学模型，量化计算蔬果种类识别设计，以蔬果种类推理准确率为目标函数，采用深度学习优化算法，提高对图像空间的全局信息提取能力，解决了现有技术在求解蔬果种类识别问题时全局性较差的问题。本发明利用蔬果种类识别的历史数据训练视觉神经网络作为辅助，用神经网络代替传统模式识别算法过程中的大部分蔬果种类特征提取过程，节省性能模拟分析时间，提高对蔬果种类识别的能力，解决了现有技术在求解蔬果种类识别问题时优化结果差，搜索效率低的问题。
[0086]利用本发明方法能够准确快速地识别出蔬果的种类及品质并进行结账，具有很好的转化前景，尤其是在无人值守超市等新型零售模式进行转化，以满足零售行业消费者需求，节省人力资源投入，提升市场竞争力。
[0087]尽管上面结合附图对本发明进行了描述，但是本发明并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本发明的启示下，在不脱离本发明宗旨的情况下，还可以做出很多改进和变化，这些均属于本发明的保护之内。