1.一种基于图像的腔镜定位方法，其特征在于，所述方法用于在使用腔镜的过程中对所述腔镜进行定位，所述方法包括：
获取定位图像序列，所述定位图像序列包括N张按照采集时间排序的定位图像，所述定位图像是所述腔镜上的图像采集模块采集得到的，所述N为大于2的正整数；
通过定位模型，结合所述定位图像序列对所述腔镜进行定位，得到腔镜定位信息，所述定位模型是根据多张参考图像和每张所述参考图像的定位信息训练得到的，所述参考图像和所述定位信息是根据电子计算机断层扫描CT数据得到的。
2.根据权利要求1所述的方法，其特征在于，在获取定位图像序列之前，所述方法还包括：
获取CT数据；
通过图像重建模型，将所述CT数据转换为所述多张参考图像，所述参考图像用于模拟使用所述腔镜的过程中所述图像采集模块所采集的图像；
根据所述CT数据，确定每张参考数据对应的定位信息；
根据所述多张参考图像和定位信息，训练得到所述定位模型。
3.根据权利要求2所述的方法，其特征在于，所述N张定位图像按照采集时间从先到后的顺序排序；
所述腔镜定位信息包括全局定位信息和局部定位信息，所述全局定位信息指示所述腔镜采集所述定位图像序列中第N张定位图像时的定位信息，所述局部定位信息指示所述腔镜从采集所述定位图像序列中第1张定位图像到采集所述定位图像序列中第N张定位图像的过程中的位置变化信息。
4.根据权利要求3所述的方法，其特征在于，所述定位模型包括局部定位网络，所述局部定位网络用于确定所述局部定位信息，
所述根据所述定位信息和所述多张参考图像，训练得到所述定位模型包括：
根据所述多张参考图像，确定样本图像序列和样本局部定位信息，所述样本图像序列包括N张按顺序排列的参考图像，所述局部定位信息指示从所述样本图像序列中首张参考图像对应的位置，到所述样本图像序列中最后一张参考图像对应的位置之间的位置变化信息；
根据所述样本图像序列和所述样本局部定位信息，训练所述定位模型中的局部定位网络。
5.根据权利要求4所述的方法，其特征在于，所述根据所述样本图像序列和所述样本局部定位信息，训练所述定位模型中的局部定位网络包括：
根据所述样本图像序列和所述样本局部定位信息，确定反向样本图像序列和反向局部定位信息，所述反向样本图像序列中参考图像的顺序与所述样本图像序列中参考图像的顺序相反，所述反向局部定位信息指示从所述样本图像序列中最后一张参考图像对应的位置，到所述样本图像序列中第一张参考图像对应的位置之间的位置变化信息；
根据所述样本图像序列和所述样本局部定位信息，对所述局部定位网络进行正向训练；
根据所述反向样本图像序列和所述反向样本局部定位信息，对所述局部定位网络进行反向训练。
6.一种基于图像的腔镜定位装置，其特征在于，所述装置用于在使用腔镜的过程中对所述腔镜进行定位，所述装置包括：
获取单元，用于获取定位图像序列，所述定位图像序列包括N张按照采集时间排序的定位图像，所述定位图像是所述腔镜上的图像采集模块采集得到的，所述N为大于2的正整数；
定位单元，用于通过定位模型，结合所述定位图像序列对所述腔镜进行定位，得到腔镜定位信息，所述定位模型是根据多张参考图像和每张所述参考图像的定位信息训练得到的，所述参考图像和所述定位信息是根据电子计算机断层扫描CT数据得到的。
7.根据权利要求6所述的装置，其特征在于，所述装置还包括训练单元；
所述获取单元，还用于获取CT数据；
所述训练单元，用于通过图像重建模型，将所述CT数据转换为所述多张参考图像，所述参考图像用于模拟使用所述腔镜的过程中所述图像采集模块所采集的图像；根据所述CT数据，确定每张参考数据对应的定位信息；根据所述多张参考图像和定位信息，训练得到所述定位模型。
8.根据权利要求7所述的装置，其特征在于，所述N张定位图像按照采集时间从先到后的顺序排序；
所述腔镜定位信息包括全局定位信息和局部定位信息，所述全局定位信息指示所述腔镜采集所述定位图像序列中第N张定位图像时的定位信息，所述局部定位信息指示所述腔镜从采集所述定位图像序列中第1张定位图像到采集所述定位图像序列中第N张定位图像的过程中的位置变化信息。
9.根据权利要求8所述的装置，其特征在于，所述定位模型包括局部定位网络，所述局部定位网络用于确定所述局部定位信息，
所述训练单元，具体用于根据所述多张参考图像，确定样本图像序列和样本局部定位信息，所述样本图像序列包括N张按顺序排列的参考图像，所述局部定位信息指示从所述样本图像序列中首张参考图像对应的位置，到所述样本图像序列中最后一张参考图像对应的位置之间的位置变化信息；根据所述样本图像序列和所述样本局部定位信息，训练所述定位模型中的局部定位网络。
10.一种计算机可读存储介质，存储有计算机程序，其特征在于，所述计算机程序被处理器运行时，处理器执行权利要求1-5中任一项所述的方法。

技术领域
[0001]本申请涉及图像处理技术领域，尤其涉及一种基于图像的腔镜定位方法、装置及存储介质。
背景技术
[0002]腔镜是一种用于在腔内进行观察和操作的器械。在医疗领域，可以使用腔镜进入患者体腔内进行诊断和治疗。例如，对于腹部相关的患者，可以使用腹腔镜进行治疗和诊断。在肺部相关的患者，可以使用支气管镜进行治疗和诊断。
[0003]在使用腔镜手术进行诊断治疗时，需要对腔镜进行定位，以使腔镜前往正确的位置进行观察和治疗。目前，可以使用基于图像的定位方法对腔镜进行定位。具体地，腔镜上可以包括图像采集模块。在使用腔镜的过程中，图像采集模块可以采集图像。通过图像采集模块所采集的图像，可以确定采集图像时腔镜的位置，完成对腔镜的定位。
[0004]但是，受限于使用环境复杂和图像采集模块的体积较小，用于定位的图像质量可能较差，导致基于图像的腔镜定位精度较差。
发明内容
[0005]有鉴于此，本申请提供了一种基于图像的腔镜定位方法、装置及存储介质，旨在提高腔镜的定位精度。
[0006]第一方面，本申请提供一种基于图像的腔镜定位方法，其特征在于，所述方法用于在使用腔镜的过程中对所述腔镜进行定位，所述方法包括：
[0007]获取定位图像序列，所述定位图像序列包括N张按照采集时间排序的定位图像，所述定位图像是所述腔镜上的图像采集模块采集得到的，所述N为大于2的正整数；
[0008]通过定位模型，结合所述定位图像序列对所述腔镜进行定位，得到腔镜定位信息，所述定位模型是根据多张参考图像和每张所述参考图像的定位信息训练得到的，所述参考图像和所述定位信息是根据电子计算机断层扫描CT数据得到的。
[0009]在一些可能的实现方式中，在获取定位图像序列之前，所述方法还包括：
[0010]获取CT数据；
[0011]通过图像重建模型，将所述CT数据转换为所述多张参考图像，所述参考图像用于模拟使用所述腔镜的过程中所述图像采集模块所采集的图像；
[0012]根据所述CT数据，确定每张参考数据对应的定位信息；
[0013]根据所述多张参考图像和定位信息，训练得到所述定位模型。
[0014]在一些可能的实现方式中，所述N张定位图像按照采集时间从先到后的顺序排序；
[0015]所述腔镜定位信息包括全局定位信息和局部定位信息，所述全局定位信息指示所述腔镜采集所述定位图像序列中第N张定位图像时的定位信息，所述局部定位信息指示所述腔镜从采集所述定位图像序列中第1张定位图像到采集所述定位图像序列中第N张定位图像的过程中的位置变化信息。
[0016]在一些可能的实现方式中，所述定位模型包括局部定位网络，所述局部定位网络用于确定所述局部定位信息，
[0017]所述根据所述定位信息和所述多张参考图像，训练得到所述定位模型包括：
[0018]根据所述多张参考图像，确定样本图像序列和样本局部定位信息，所述样本图像序列包括N张按顺序排列的参考图像，所述局部定位信息指示从所述样本图像序列中首张参考图像对应的位置，到所述样本图像序列中最后一张参考图像对应的位置之间的位置变化信息；
[0019]根据所述样本图像序列和所述样本局部定位信息，训练所述定位模型中的局部定位网络。
[0020]在一些可能的实现方式中，所述根据所述样本图像序列和所述样本局部定位信息，训练所述定位模型中的局部定位网络包括：
[0021]根据所述样本图像序列和所述样本局部定位信息，确定反向样本图像序列和反向局部定位信息，所述反向样本图像序列中参考图像的顺序与所述样本图像序列中参考图像的顺序相反，所述反向局部定位信息指示从所述样本图像序列中最后一张参考图像对应的位置，到所述样本图像序列中第一张参考图像对应的位置之间的位置变化信息；
[0022]根据所述样本图像序列和所述样本局部定位信息，对所述局部定位网络进行正向训练；
[0023]根据所述反向样本图像序列和所述反向样本局部定位信息，对所述局部定位网络进行反向训练。
[0024]第二方面，本申请提供一种基于图像的腔镜定位装置，所述装置用于在使用腔镜的过程中对所述腔镜进行定位，所述装置包括：
[0025]获取单元，用于获取定位图像序列，所述定位图像序列包括N张按照采集时间排序的定位图像，所述定位图像是所述腔镜上的图像采集模块采集得到的，所述N为大于2的正整数；
[0026]定位单元，用于通过定位模型，结合所述定位图像序列对所述腔镜进行定位，得到腔镜定位信息，所述定位模型是根据多张参考图像和每张所述参考图像的定位信息训练得到的，所述参考图像和所述定位信息是根据电子计算机断层扫描CT数据得到的。
[0027]在一些可能的实现方式中，所述装置还包括训练单元；所述获取单元，还用于获取CT数据；所述训练单元，用于通过图像重建模型，将所述CT数据转换为所述多张参考图像，所述参考图像用于模拟使用所述腔镜的过程中所述图像采集模块所采集的图像；根据所述CT数据，确定每张参考数据对应的定位信息；根据所述多张参考图像和定位信息，训练得到所述定位模型。
[0028]在一些可能的实现方式中，所述N张定位图像按照采集时间从先到后的顺序排序；所述腔镜定位信息包括全局定位信息和局部定位信息，所述全局定位信息指示所述腔镜采集所述定位图像序列中第N张定位图像时的定位信息，所述局部定位信息指示所述腔镜从采集所述定位图像序列中第1张定位图像到采集所述定位图像序列中第N张定位图像的过程中的位置变化信息。
[0029]在一些可能的实现方式中，所述定位模型包括局部定位网络，所述局部定位网络用于确定所述局部定位信息，所述训练单元，具体用于根据所述多张参考图像，确定样本图像序列和样本局部定位信息，所述样本图像序列包括N张按顺序排列的参考图像，所述局部定位信息指示从所述样本图像序列中首张参考图像对应的位置，到所述样本图像序列中最后一张参考图像对应的位置之间的位置变化信息；根据所述样本图像序列和所述样本局部定位信息，训练所述定位模型中的局部定位网络。
[0030]在一些可能的实现方式中，所述训练单元，具体用于根据所述样本图像序列和所述样本局部定位信息，确定反向样本图像序列和反向局部定位信息，所述反向样本图像序列中参考图像的顺序与所述样本图像序列中参考图像的顺序相反，所述反向局部定位信息指示从所述样本图像序列中最后一张参考图像对应的位置，到所述样本图像序列中第一张参考图像对应的位置之间的位置变化信息；根据所述样本图像序列和所述样本局部定位信息，对所述局部定位网络进行正向训练；根据所述反向样本图像序列和所述反向样本局部定位信息，对所述局部定位网络进行反向训练。
[0031]第三方面，本申请提供了一种设备，所述设备包括存储器和处理器，所述存储器用于存储指令或代码，所述处理器用于执行所述指令或代码，以使所述设备执行前述第一方面任一项所述的基于图像的腔镜定位方法。
[0032]第四方面，本申请提供了一种计算机存储介质，所述计算机存储介质中存储有代码，当所述代码被运行时，运行所述代码的设备实现前述第一方面任一项所述的方法。
[0033]第五方面，提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行前述第一方面任一项所述的方法。
[0034]本申请提供了一种基于图像的腔镜定位方法、装置及存储介质，该方法可以采用图像序列代替单张图像进行定位以提高定位精度。具体地，在使用腔镜进行腔镜检查的过程中，可以通过腔镜上的图像采集模块采集多张定位图像。按照采集时间对采集的N张(N为大于2的正整数)进行排序，可以得到定位图像序列。在获取到定位图像序列之后，可以将定位图像序列输入定位模型，由定位模对腔镜进行定位，得到腔镜定位信息。其中，定位模型是根据多张参考图像和定位信息训练得到的。参考图像和参考图像的定位信息都是根据电子计算机断层扫描(Computed Tomography，CT)数据得到的。可见，相较于传统的、基于单张图像进行匹配定位的实现方式，通过定位图像序列代替单张图像，可以提高定位精度。并且，由于腔镜定位信息是基于包括N张定位图像的定位图像序列得到的，即使某张定位图像的质量不佳，也能够基于其余的定位图像之间的关联关系得到较为准确的定位信息。
附图说明
[0035]为更清楚地说明本实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0036]图1为本申请实施例提供的基于图像的腔镜定位方法的一种流程示意图；
[0037]图2为本申请实施例提供的训练定位模型的方法的一种流程示意图；
[0038]图3为本申请实施例提供的腔镜定位装置的一种结构示意图。
具体实施方式
[0039]基于图像的腔镜定位是一种常见的腔镜定位的方式。具体地，腔镜上包括用于采集图像的图像采集模块。在使用腔镜进行检查治疗之前，可以先通过CT等方式进行数据采集，并将采集到的数据进行域转换，得到参考数据。参考数据用于模拟使用腔镜过程中图像采集模块所采集的设备。在使用腔镜的过程中，可以通过腔镜上的图像采集模块采集图像。通过对比采集到的图像和定位图像，可以确定图像采集装置所在的位置，完成对腔镜的定位。
[0040]上述定位方法基于图像采集模块采集的单张图像和定位图像进行定位。但是，受实际使用场景的影响，图像采集模块所采集的图像可能并不清晰，例如，患者的组织可能遮挡图像采集模块，导致图像采集模块所采集的图像模糊或不完整。并且，基于CT数据转换得到的参考图像，只能用于模拟图像采集模块实际采集的图像，和实际的采集的图像之间可能存在差异。这样，即使采集的图像是准确的，由于定位图像和实际图像存在差异，也可能导致定位不准确。
[0041]特别地，在肺部使用腔镜时，例如使用支气管镜进行检查和/或治疗时，由于肺部支气管结构较为复杂，需要较高的定位精度。如果无法准确地对腔镜进行定位，可能导致腔镜进入错误的支气管。
[0042]因此，为了解决传统的、基于图像的腔镜定位方法中定位不准确的问题，本申请提供了一种新的基于图像的腔镜定位方法。该腔镜定位方法中通过图像序列代替了传统定位方法中的单张图像，从而提高腔镜定位的精度。其中，该基于图像的腔镜定位方法可以应用于基于图像的腔镜定位装置(后简称腔镜定位装置)。该腔镜定位装置可以应用于计算机设备。该计算机设备可以与腔镜连接。
[0043]下面从腔镜定位装置的角度，对本申请实施例提供的基于图像的腔镜定位方法进行说明。显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
[0044]参见图1，图1为本申请实施例提供的基于图像的腔镜定位方法的一种方法流程图，包括：
[0045]S101：获取定位图像序列。
[0046]在使用腔镜的过程中，可以通过腔镜上的图像采集模块进行图像采集。在本申请实施例中，图像采集模块所采集的图像可以用于对腔镜进行定位，所以可以被称为定位图像。相应地，腔镜定位装置可以获取图像采集模块所采集的图像，得到定位图像序列。
[0047]可选地，图像采集模块可以周期性采集定位图像，并按照定位图像被采集的顺序将采集的定位图像加入定位图像序列当中。例如，如果定位图像序列可以基于队列实现，那么腔镜定位装置可以将新采集的定位图像加入定位图像序列的头部或尾部。
[0048]在本申请实施例中，腔镜定位装置可以结合多张图像对腔镜进行定位。因此，用于定位的定位图像序列中需要包括多张定位图像。结合下文的介绍可知，腔镜定位装置需要在定位过程中结合多张定位图像，分析腔镜在采集不同定位图像的过程中位置的变化来确定腔镜的位置。因此，腔镜定位装置对定位图像序列中定位图像的数量存在一定的要求。如果仅存在两张定位图像，腔镜定位装置得到的定位结果可能不够准确。因此，用于腔镜定位的定位图像序列中定位图像的数量可以大于2。可选地，定位图像序列中定位图像的数量例如可以为7。
[0049]可选地，如果定位图像序列中定位图像的数量是固定的，那么可以在采集到新的定位图像之后，删除定位图像序列中采集时间最早的定位图像。也就是说，假设定位图像序列中存在N张定位图像，那么这N张图像可以是图像采集模块最新采集的N张图像。
[0050]可以理解的是，在刚开始使用腔镜时，定位图像序列中定位图像的数量可以小于N。
[0051]S102：通过定位模型，结合定位图像序列对所述腔镜进行定位，得到腔镜定位信息。
[0052]在获取到定位图像序列之后，腔镜定位装置可以通过定位模型对定位图像序列进行处理，从而得到腔镜定位信息。其中，定位模型是根据多张参考图像和每张参考图像的定位信息训练得到的。参考图像是定位过程中用于提供参考的图像，是根据CT数据得到的。相似地，参考图像的定位信息也是基于CT数据得到的
[0053]也就是说，在使用腔镜之前，可以先通过CT进行扫描，得到对应的CT数据。接着，可以将CT数据映射为参考图像。然后，可以根据映射出的参考图像训练定位模型。通过训练定位模型，可以学习到CT数据中隐含的定位信息。这样，在使用腔镜时，可以以参考图像为参考，结合定位图像序列确定腔镜的定位信息。
[0054]例如，在使用支气管腔镜对患者肺部进行检查或治疗之前，可以先对患者拍摄肺部CT。接着，可以将拍摄得到的CT数据映射为参考图像，并训练定位模型。这样，在使用支气管腔镜的过程中，可以使用参考图像作为参考，对定位图像序列进行定位，从而确定腔镜在支气管中的位置。
[0055]定位模型可以是预先训练的模型。通过参考图像和参考图像的定位信息训练定位模型，可以让定位模型学习到图像和定位信息之间的关联关系。这样，在将定位图像序列输入定位模型之后，定位模型可以分析定位图像，并按照学习到的关联关系确定定位图像对应的定位信息。
[0056]并且，定位模型具有对图像序列进行处理的能力。即，定位模型可以分析图像序列中各个图像之间的关联关系。可选地，定位模型例如可以是ResNet3D-101模型。
[0057]在一些可能的实现方式中，定位模型可以基于全局定位和局部定位两种定位方式对腔镜进行定位。相应地，腔镜定位信息可以包括全局定位信息和局部定位信息。
[0058]其中，全局定位是指以固定的位置(例如腔镜的起始位置等)为原点，确定腔镜相对于原点的位置。局部定位是指以定位图像序列中最早被采集的图像为原点，确定腔镜相对于原点的位置。相应地，全局定位信息可以表示采集最新一张定位图像时，腔镜的定位信息。局部定位信息可以表示采集定位图像序列的过程中，腔镜的位置变化信息。
[0059]也就是说，假设定位图像序列中存在N张按照采集时间从先到后的顺序排列的定位图像，那么全局定位信息可以指示腔镜采集第N张定位图像时的定位信息，局部定位信息可以指示腔镜从采集第1张定位图像，到采集第N张图像的过程中的位置变化信息。
[0060]本申请提供了一种基于图像的腔镜定位方法，该方法可以采用图像序列代替单张图像进行定位以提高定位精度。具体地，在使用腔镜进行腔镜检查的过程中，可以通过腔镜上的图像采集模块采集多张定位图像。按照采集时间对采集的N张(N为大于2的正整数)进行排序，可以得到定位图像序列。在获取到定位图像序列之后，可以将定位图像序列输入定位模型，由定位模对腔镜进行定位，得到腔镜定位信息。其中，定位模型是根据多张参考图像和定位信息训练得到的。参考图像和参考图像的定位信息都是根据电子计算机断层扫描(Computed Tomography)数据得到的。可见，相较于传统的、基于单张图像进行匹配定位的实现方式，通过定位图像序列代替单张图像，可以提高定位精度。并且，由于腔镜定位信息是基于包括N张定位图像的定位图像序列得到的，即使某张定位图像的质量不佳，也能够基于其余的定位图像之间的关联关系得到较为准确的定位信息。
[0061]下面结合图2，介绍一些训练定位模型的实现方式。
[0062]参见图2，图2为本申请实施例提供的训练定位模型的方法的一种流程示意图，包括：
[0063]S201：获取CT数据。
[0064]为了训练定位模型，首先可以获取CT数据。其中，CT数据是对使用腔镜的对象进行扫描得到的。例如，如果需要使用腔镜对患者的肺部进行检查，可以对患者进行肺部CT；如果需要使用腔镜对患者的腹部进行检查，可以对患者进行腹部CT。
[0065]可选地，CT数据可以包括多张断层图像。每张断层图像指示被扫描部位的断层结构。关于CT数据的介绍这里不再赘述。
[0066]S202：通过图像重建模型，将CT数据转换为所述多张参考图像。
[0067]在使用腔镜时，采集到的定位图像是在腔体内部采集的，而CT数据中的断层图像是断层扫描得到的，二者是不同视角的图像。因此，如果直接使用CT数据训练定位模型，得到的定位模型可能根据定位图像序列进行定位，或者不能达到足够的定位精度。CT数据到生成图像是由重建的虚拟环境得到的，域转换模型用于将生成图像转换成和真实图像非常相似的图像
[0068]为此，在图2对应的实现方式中，可以对CT数据进行虚拟环境的重建，，以得到与定位信息同一视角的参考图像。具体地，可以通过图像重建模型，根据CT数据进行虚拟环境的重建，并模拟得到虚拟环境下的多张参考图像。并且，基于CT数据，还可以确定每张参考图像的定位信息。
[0069]其中，参考图像用于模拟使用腔镜过程中图像采集模块所采集的图像。也就是说，通过图像重建模型，可以将断层图像转换为腔镜视角的图像。
[0070]具体地，图像重建模型可以基于对抗网络的结构实现。具体地，域转换模型可以包括第一生成器、第二生成器和鉴别器。第一生成器用于根据断层图像生成参考图像，第二生成器用于根据参考图像生成断层图像。鉴别器用于对图像进行鉴别判断。可选地，可以通过一个鉴别器对第一生成器和第二生成器得到的图像进行鉴别判断，也可以通过两个鉴别器，分别对第一生成器得到的图像和第二生成器得到的图像进行鉴别判断。
[0071]其中，第一生成器可以包括编码器、变换结构和解码器。编码器可以包括多个卷积块，用于压缩和提取数据的特征。解码器可以包括多个Decov，用于从特征中回复数据。变换结构位于编码器和解码器之间，用于对特征进行变换。相似地，第二生成器的结构与第一生成器的结构可以相同。
[0072]可选地，第一生成器和第二生成器中可以包括转换器(transformer)和自适应层实例规范化(Adaptive LayerInstance Normalization，AdaLIN)模块。通过引入transformer和AdaLIN模块，可以更好地适应不同图像域的变化，达到更好的图像转换效果。
[0073]在训练图像重建模型时，可以基于样本CT数据和样本参考图像进行训练。具体地，可以将样本CT数据中的断层图像输入第一生成器，将样本参考图像输入第二生成器。接着，可以通过鉴别器判断第一生成器根据样本CT数据生成的图像的可信度，以及判断第二生成器根据样本参考图像生成的图像的可信度。
[0074]可选地，该过程中的从s域到c域的对抗性损失函数可以表示为：
[0075]
[0076]其中，域s为CT数据对应的图像域，域c为参考图像对应的图像域，Gs→c表示将图像从域s转换为域c的生成器，Dc表示判别图像是否属于域c的判别器，Gc→s表示将图像从域c转换为域s的生成器，Ds表示判别图像是否属于域s的判别器。
[0077]可选地，训练图像重建模型时，还可以考虑循环一致性损失。循环一致性损失函数用于限制生成的图像，以保证生成的图像和原始图像相匹配。
[0078]可选地，该过程中从s域到c域的循环一致性损失函数可以表示为：
[0079]
[0080]可选地，训练图像重建模型时，还可以考虑唯一性损失和辅助损失。其中，唯一性损失用于确保第一生成器生成的图像属于c域，且与c域中的参考图像唯一对应。辅助损失用于增加不同图像域之间的差异，使得图像转换的效果更加。
[0081]可选地，上述过程中从s域到c域的唯一性损失函数可以表示为：
[0082]
[0083]从s域到c域的辅助损失函数可以表示为：
[0084]
[0085]鉴别器Ds的辅助损失函数可以表示为：
[0086]
[0087]综上所述，在训练图像重建模型时，损失函数Loss可以表示为：
[0088]Loss＝λ1Ladv+λ2Lcyc+λ3Lide+λ4Laux
[0089]其中，λ1、λ2、λ3和λ4为超参数。可选地，λ1＝1,λ2＝10,λ3＝10,λ4＝10。
[0090]S203：根据CT数据，确定每张参考图像对应的定位信息。
[0091]在本申请实施例中，定位模型用于根据定位图像序列进行定位。因此，训练定位模型所用的数据中，不仅包括定位图像对应的数据(即参考图像)，还包括腔镜定位信息对应的数据。因此，在训练定位模型之前，还可以确定每张参考图像对应的定位信息。
[0092]可选地，可以结合CT数据对参考图像进行分析，以确定每张参考图像的定位信息。或者，可选地，可以在步骤S202中确定参考图像的定位信息。即，图像重建模型可以同时输出参考图像和参考图像的定位信息。
[0093]S204：根据多张参考图像和定位信息，训练得到定位模型。
[0094]在得到参考图像和定位信息之后，可以根据参考图像和定位信息训练得到定位模型。具体地，可以将参考图像作为预设模型的输入，利用参考图像的定位信息和预设模型的输出对预设模型进行修正，得到定位模型。其中，预设模型是预先建立的、结构与定位模型匹配的训练前的模型。
[0095]根据前文介绍可知，定位模型可以进行全局定位和局部定位。相应地，定位模型中可以包括全局定位网络和局部定位网络。其中，全局定位网络用于进行全局定位，局部定位网络用于进行局部定位。下面分别介绍训练全局定位网络和训练局部定位网络的实现方式。
[0096]全局定位网络用于进行全局定位，确定全局定位信息。相应地，用于训练全局定位网络的数据可以包括参考图像，和参考图像的全局定位信息。其中，参考图像的全局定位信息表示参考图像相较于预设原点的定位信息。参考图像的全局定位信息可以根据步骤S203中确定的定位信息得到。
[0097]在训练全局定位网路时，可以将参考图像作为全局定位网络的输入，并根据全局定位网络的输出和参考图像的全局定位信息计算损失函数，然后利用损失函数对全局定位网络进行反馈调整。
[0098]在实际应用场景中，不但需要确定腔镜的位置，还需要确定腔镜的朝向。因此，腔镜的全局定位信息可以包括腔镜的位置信息和朝向信息。相应地，训练全局定位网络所用的损失函数可以包括平移损失函数和旋转损失函数。平移损失函数表示全局定位网络预测出的位置与实际位置的差异，旋转损失函数表示全局定位网络预测出的朝向与实际朝向的差异。
[0099]具体地，全局定位网络的损失函数可以通过如下公式计算得到：
[0100]LGlobalPose＝Lp+αLq
[0101]
[0102]其中，LGlobalPose是全局定位网络的损失函数。Lp是平移损失函数。Lq是旋转损失函数。α为超参数。为位置向量，例如可以是从原点指向采集参考图片的位置的向量，是全局定位网络输出的、根据参考图像预测出的位置向量。为朝向向量，例如可以是参考图片对应的图像采集模块的方向向量。是全局定位网络输出的、根据参考图像预测出的方向向量。
[0103]下面介绍局部定位网络。
[0104]局部定位网络用于确定采集定位图像序列的过程中，腔镜的位置变化情况。相应地，用于训练局部定位网络的数据可以包括样本图像序列，和样本图像序列对应的样本局部定位信息。样本图像序列包括多张参考图像，例如可以包括N张参考图像。样本局部定位信息表示从样本图像序列中首张参考图像对应的位置，到样本图像序列中最后一张参考图像对应的位置之间的位置变化信息。
[0105]在训练局部定位网络时，可以将样本图像序列作为局部定位网络的输入，并根据局部定位网络的输出和样本局部定位信息计算损失函数，然后利用损失函数对局部定位网络进行反馈调整。
[0106]可选地，为了提高定位精度，可以基于样本图像序列和样本局部定位信息进行双向训练。具体地，可以根据样本图像序列确定反向样本图像序列，根据样本局部定位信息确定反向样本局部定位信息。反向样本图像序列中参考图像的顺序与样本图像序列中参考图像的顺序相反，反向局部定位信息指示从样本图像序列中最后一张参考图像对应的位置，到样本图像序列中第一张参考图像对应的位置之间的位置变化信息。
[0107]然后，可以利用将反向样本局部定位信息输入局部定位网络，并根据局部定位网络的输出和反向局部定位信息计算损失函数，然后利用损失函数对局部定位网络进行反馈调整。
[0108]也就是说，样本局部定位信息用于模拟从采集样本图像序列中第一张参考图像到采集样本图像序列中最后一张参考图像的过程中的位置变化信息，反向局部定位信息用于模拟从采集样本图像序列中最后一张参考图像到采集样本图像序列中第一张参考图像的过程中的位置变化信息。即，样本局部定位信息和反向样本局部定位信息对应同一段路径的不同方向，因此，通过双向训练，可以进一步提高局部定位网络的准确性。
[0109]具体地，假设样本图像序列中包括N张参考图像，那么全局定位网络的损失函数可以通过如下公式计算得到：
[0110]LRelativePose＝Lforward+Lbackward+Lbid
[0111]
[0112]其中，LRelativePose为局部定位网络的损失函数。Lforward为根据样本图像序列得到的损失函数。Lbackward为根据反向样本图像序列得到的损失函数。Lbid为双向一致性损失函数。β为超参数。
[0113]表示从第t-N张参考图像，到第t张参考图像的方向向量。表示局部定位网络输出的、从第t-N张参考图像，到第t张参考图像的位置向量。表示从第t-N张参考图像，到第t张参考图像的朝向向量。表示局部定位网络输出的、从第t-N张参考图像，到第t张参考图像的位置向量。
[0114]表示从第t张参考图像，到第t-N张参考图像的方向向量。表示局部定位网络输出的、从第t张参考图像，到第t-N张参考图像的位置向量。qt,t-N表示从第t张参考图像，到第t-N张参考图像的朝向向量。表示局部定位网络输出的、从第t张参考图像，到第t-N张参考图像的位置向量。
[0115]以上为本申请实施例提供基于图像的腔镜定位方法的一些具体实现方式，基于此，本申请还提供了对应的腔镜定位装置。下面将从功能模块化的角度对本申请实施例提供的腔镜定位装置进行介绍。
[0116]参见图3，图3为本申请实施例提供的腔镜定位装置的一种结构示意图。具体地，图3所示的腔镜定位装置300，包括：
[0117]获取单元310，用于获取定位图像序列，所述定位图像序列包括N张按照采集时间排序的定位图像，所述定位图像是所述腔镜上的图像采集模块采集得到的，所述N为大于2的正整数；
[0118]定位单元320，用于通过定位模型，结合所述定位图像序列对所述腔镜进行定位，得到腔镜定位信息，所述定位模型是根据多张参考图像和每张所述参考图像的定位信息训练得到的，所述参考图像和所述定位信息是根据电子计算机断层扫描CT数据得到的。
[0119]在一些可能的实现方式中，所述装置还包括训练单元；所述获取单元310，还用于获取CT数据；所述训练单元，用于通过图像重建模型，将所述CT数据转换为所述多张参考图像，所述参考图像用于模拟使用所述腔镜的过程中所述图像采集模块所采集的图像；根据所述CT数据，确定每张参考数据对应的定位信息；根据所述多张参考图像和定位信息，训练得到所述定位模型。
[0120]在一些可能的实现方式中，所述N张定位图像按照采集时间从先到后的顺序排序；所述腔镜定位信息包括全局定位信息和局部定位信息，所述全局定位信息指示所述腔镜采集所述定位图像序列中第N张定位图像时的定位信息，所述局部定位信息指示所述腔镜从采集所述定位图像序列中第1张定位图像到采集所述定位图像序列中第N张定位图像的过程中的位置变化信息。
[0121]在一些可能的实现方式中，所述定位模型包括局部定位网络，所述局部定位网络用于确定所述局部定位信息，所述训练单元，具体用于根据所述多张参考图像，确定样本图像序列和样本局部定位信息，所述样本图像序列包括N张按顺序排列的参考图像，所述局部定位信息指示从所述样本图像序列中首张参考图像对应的位置，到所述样本图像序列中最后一张参考图像对应的位置之间的位置变化信息；根据所述样本图像序列和所述样本局部定位信息，训练所述定位模型中的局部定位网络。
[0122]在一些可能的实现方式中，所述训练单元，具体用于根据所述样本图像序列和所述样本局部定位信息，确定反向样本图像序列和反向局部定位信息，所述反向样本图像序列中参考图像的顺序与所述样本图像序列中参考图像的顺序相反，所述反向局部定位信息指示从所述样本图像序列中最后一张参考图像对应的位置，到所述样本图像序列中第一张参考图像对应的位置之间的位置变化信息；根据所述样本图像序列和所述样本局部定位信息，对所述局部定位网络进行正向训练；根据所述反向样本图像序列和所述反向样本局部定位信息，对所述局部定位网络进行反向训练。
[0123]本申请实施例还提供了对应的齿轮组参数确定设备、计算机存储介质和计算机程序产品，用于实现本申请实施例提供的技术方案。
[0124]其中，所述设备包括存储器和处理器，所述存储器用于存储指令或代码，所述处理器用于执行所述指令或代码，以使所述设备执行本申请任一实施例所述的基于图像的腔镜定位方法。
[0125]所述计算机存储介质中存储有代码，当所述代码被运行时，运行所述代码的设备实现本申请任一实施例所述的基于图像的腔镜定位方法。
[0126]所述计算机程序产品包含指令。当其在计算机上运行时，使得计算机执行本申请任一实施例所述的基于图像的腔镜定位方法。
[0127]本申请实施例中提到的“第一”、“第二”(若存在)等名称中的“第一”、“第二”只是用来做名字标识，并不代表顺序上的第一、第二。
[0128]通过以上的实施方式的描述可知，本领域的技术人员可以清楚地了解到上述实施例方法中的全部或部分步骤可借助软件加通用硬件平台的方式来实现。基于这样的理解，本申请的技术方案可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如只读存储器(英文：re执行机构d-only memory，ROM)/R执行机构M、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者诸如路由器等网络通信设备)执行本申请各个实施例或者实施例的某些部分所述的方法。
[0129]本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置实施例而言，由于其基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
[0130]以上所述仅是本申请示例性的实施方式，并非用于限定本申请的保护范围。