1.基于动态传播社交图的多模态虚假新闻检测方法，通过多模态虚假新闻检测模型实现，该多模态虚假新闻检测模型包括传播序列捕获层、特征表示层、多模态动态融合、增强图结构抽取和邻居语义感知五部分，其特征在于包括如下步骤：
步骤1：传播序列捕获层：根据数据集中的新闻、帖子和用户三类实体构建新闻异构图G＝(V，E)，其中V＝{N,P,U}表示新闻、帖子和用户三种节点类型的节点集，E表示它们之间的边集，mn、mp和mu分别表示新闻节点、帖子节点和用户节点的个数，遍历新闻节点ni∈N，对每个起始节点ni进行以下步骤T次：以概率p返回起始节点，或随机选择ni的邻居节点加入N(ni)集合中，直到对应类型邻居节点收集到规定数量，以确保每种类型的邻居节点都被采样，对N(ni)集合中新闻邻居节点Nn、帖子邻居节点Np和用户邻居节点Nu按照被采样频率排序，保留前k个频率最高的邻居节点，k＝kn+kp+ku；
步骤2：特征表示层：对于文本首先利用分词器填充或截断为长度为n的token序列T＝{[CLS],o1,o2,...,on,[SEP]}，然后将T输入到微调的RoBERTa模型获得嵌入向量，用[CLS]的嵌入向量表示整个token序列的嵌入向量表示e，dt表示嵌入维度，依次获得以下标准化后的嵌入向量表示：新闻标题et、新闻内容ec，帖子信息ep，用户描述eu，对于视觉特征表示，使用预训练的ResNet18模型获取细粒度的图像特征向量，标准化后得图像表示其中dv表示图像特征向量维度，一些数值属性和类别属性，采用one-hot方法转为稀疏特征表示，数值属性进行归一化保证数值范围一致，得到帖子其他特征向量用户其他特征向量其中dop，dou分别表示帖子和用户其他特征向量的维度；
步骤3：多模态动态融合：为了精准获得异构图中每种类型节点的特征表示，设计多模态动态融合层，该层由时序相似强度和时序渗透融合块两部分组成；
步骤4：增强图结构抽取：在新闻异构图中，节点和边之间存在复杂关系，为深度抽取图结构特征，对传播轨迹中捕获的目标新闻及其邻居序列进行图结构增强，然后建立动态符号注意块深度抽取邻居间以及邻居与目标节点间的图结构特征，最后将图结构特征与融合特征进行多模态对齐，实现文本、视觉和图结构的多模态间信息的融合与交互；
步骤5：邻居语义感知：在获得目标新闻及其各类型邻居的融合特征以及图结构特征后，采用Transformer的encoder-decoder结构感知新闻传播序列上节点的上下文语义，获得目标新闻的感知特征，用于训练分类器。
2.根据权利要求1所述的方法，其特征在于，步骤3中时序相似强度中：在目标新闻节点的新闻邻居节点和帖子邻居节点中，距离目标新闻节点越近的邻居节点，其内容越能反应目标新闻节点发布是的社会语境，因此设计时序相似强度，新闻邻居Nn中的第o个邻居与目标新闻ni的时间间隔计算如式(1)所示

其中表示目标新闻ni的发布时间，to表示新闻邻居Nn中第o个邻居的发布时间；
新闻邻居Nn中的第o个邻居对目标新闻ni的时序相似强度如式(2)所示

利用以上方法，获得新闻邻居和帖子邻居对目标新闻ni的时序相似强度sn、sp，其中
3.根据权利要求1所述的方法，其特征在于，步骤3中时序渗透融合块中：设计时序渗透融合块捕获新闻、用户和帖子三种类型节点的多模态动态融合特征，利用自注意机制来捕获各属性特征的内部依赖关系，首先拼接新闻节点的属性特征，包括标题、内容和视觉，进行线性转换为统一维度d，新闻邻居的标题特征Et的获取如式(3)所示

其中，是可训练参数，concat(·)表示向量拼接操作；
采用多头自注意机制并行捕获新闻标题的语义依赖特征计算如式(4)所示

其中，
采用相同方式，获得新闻邻居节点的新闻内容语义依赖特征视觉语义依赖特征和时序语义依赖特征然后，时序加权渗透向属性特征中渗透各邻居节点的时序信息，捕获邻居之间的动态关系，新闻标题时序渗透特征计算如式(5)所示

其中，和分别表示目标新闻ni的新闻类型邻居的时序语义依赖特征和新闻标题语义依赖特征，
通过公式(5)获得新闻节点类型的新闻内容时序渗透特征和视觉时序渗透特征搭建平均池化层将新闻节点类型的三个属性特征融合到一起，获得新闻节点的融合特征表示计算如式(6)所示

其中，MeanPool(·)表示平均池化操作；
采用以上相同方式获得目标新闻ni的融合特征帖子邻居的融合特征通过融合时序渗透信息和其他特征获得，用户节点的融合特征通过融合内部依赖增强后的描述特征和其他特征获得，其中
4.根据权利要求1所述的方法，其特征在于，步骤4中图结构增强中：图结构特征的抽取主要涉及到节点本身所包含的信息、节点间的关系两部分信息，对于节点本身的信息部分，采用多模态动态融合模块获得的融合特征，将多模态动态融合模块获得目标新闻的融合特征与其邻居节点的融合特征按照传播轨迹捕获序列N(ni)的顺序拼接一起，共同构成目标新闻ni的动态邻居嵌入序列Efus∈Rl×d，该序列中第一行为目标新闻ni的融合特征，其中l＝1+kn+kp+ku，对于节点间的关系部分采用搭建邻接矩阵的方式来表示，邻接矩阵的构建主要是从两种角度来获得节点间的复杂连接关系，一种是在异构图G中寻找l个节点间的连接关系，另一种是借助余弦相似度补充边连接，依据动态邻居嵌入序列计算各个节点间的余弦相似度，将余弦相似度大于0.5的节点间也添加边连接，在补充后，构建一个l×l的邻接矩阵A，若两节点间存在边则标为1，否则标为0，补充后的邻接矩阵包含更加全面的节点间的连接关系。
5.根据权利要求1所述的方法，其特征在于，步骤4中动态符号注意块中：搭建动态符号注意块计算节点间的动态注意系数并按符号为邻居节点加权，以融合形成包含深度且丰富的图结构特征；
动态注意系数主要通过图注意力机制网络计算，在该过程中，由于动态邻居嵌入序列中渗透了时序语义，因此图注意机制在计算注意系数时也融合了节点间的动态关系，动态邻居嵌入序列的节点间的动态注意系数E+计算如式(7)所示
E+＝LeakyReLU((EfusWa1)+(EfusWa2)T) (7)
其中，Efus表示目标新闻ni的动态邻居嵌入序列，W、a1和a2为可训练参数，a1和a2分别为权重a的前d行和后d行，a∈R2d，Efus∈Rl×d，W∈Rd×d，E+∈Rl×l；
对动态注意系数E+标准化，如式(8)所示
E+′＝softmax(E+) (8)
在动态注意系数E+中会存在一些负值，这些负值反应了节点间的负相关关系，但在softmax(·)函数后负值会变为较小值，这种负相关关系就会被忽略，因此，令E-＝-E+，然后再进行标准化，如式(9)所示
E-′＝softmax(E-) (9)
基于标准化后的动态注意系数E+′和E-′，根据邻居矩阵A中节点间的连接，按符号为邻居节点加权并聚合，将捕获正相关与负相关关系的聚合特征拼接，通过全连接层获得动态符号注意块输出特征fg，计算如式(10)所示
cfg＝ReLU((E+′Efus||E-′Efus)Wg) (10)
其中，ReLU(·)为激活函数，||表示拼接操作，Wg为可训练参数，Wg∈R2d×d，fg∈Rl×d；
将动态邻居嵌入序列输入动态符号注意块h次，用不同的动态注意系数加权聚合邻居节点，拼接输出后再次输入动态符号注意块中去获得更加全面和综合的图结构特征Fg，计算过程如式(11)所示

其中，表示第j次获得的图结构特征，j∈[1,h]，DSA(·)表示动态符号注意块，σ(·)表示sigmoid激活函数，Fg∈Rl×d。
6.根据权利要求1所述的方法，其特征在于，步骤4中多模态对齐中：采用多头注意力增强目标新闻及新闻邻居节点的图结构特征和融合特征，并将图结构特征和文本-视觉融合特征变换到同一特征空间中，如式(12)所示

其中，和分别表示目标新闻ni及其新闻邻居节点的图结构特征，||表示拼接操作，
然后，采用MSE损失函数衡量图模态对齐，计算如式(13)所示

7.根据权利要求1所述的方法，其特征在于，步骤5中Transformer结构输入中：Encoder的输入包括目标新闻节点ni及其N(ni)中所有邻居的融合特征表示Efus、对应位置嵌入Epos、图结构特征Fg和节点类型嵌入Etype，对于Efus和Fg采用公式(12)增强并转换到同一特征空间中，获得增强后特征表示E'fus和Fg'，Encoder输入序列Henc如式(14)所示
Henc＝E'fus+Epos+F′g+Etype (14)
其中，Henc∈Rl×d；
Decoder的输入包括目标新闻ni及其N(ni)中的新闻邻居的增强后的融合特征表示对应位置嵌入增强后的图特征表示和节点类型嵌入Decoder输入序列Hdec如式(15)所示

其中，
将获得的Henc和Hdec按照目标新闻ni的传播序列顺序分别馈送到Transformer模型的encoder和decoder中，捕捉节点间的关系，学习节点间信息交互与传递，聚合邻居节点的上下文语义信息，获得目标新闻ni的感知特征表示Hawa。
8.根据权利要求1所述的方法，其特征在于，步骤5中训练分类器中：将目标新闻ni的感知特征表示Hawa输入全连接层中，并通过sigmoid激活函数预测目标新闻是否为虚假新闻，计算如式(16)所示

其中，Wawa和bawa分别为可训练权重和偏置，σ(·)表示sigmoid激活函数
采用交叉熵损失函数进行计算，如式(17)

总体损失L如式(18)所示
L＝λaLa+λcLc (18)
其中λa和λc分别用来平衡La和Lc两个损失函数。
9.根据权利要求3所述的方法，其特征在于，多头自注意机制中：多头注意机制将输入Et映射到查询、键和值三个矩阵中，使用Q′＝EtWtQ、K′＝EtWtK和V′＝EtWtV方式将Et线性变换H次，并行执行注意机制，多头注意机制计算如式(19)(20)所示

其中，dk表示K′的维度，WM∈Rd×d，d表示统一投射维度，||表示拼接操作。

技术领域
[0001]本发明属于信息安全技术领域，是一种涉及多模态融合、社交网络异构图、注意力机制和Transformer搭建的基于动态传播社交图的多模态虚假新闻检测模型(DPSG)。在三个数据集上的实验结果证明了提出模型在虚假新闻检测任务上的有效性。
背景技术
[0002]随着社交媒体的兴起，相比于传统获取新闻的方式，人们更倾向于从社交媒体上获得新闻。然而，社交媒体在为人们生活带来便利的同时，也推动了虚假新闻的传播。虚假新闻是指通过修改图片、文本，或采用不匹配的图片、内容等方式，歪曲事实，欺骗观众，以达到操纵政治舆论、谋取私利的目的。多模态形式的虚假新闻具有更强的视觉冲击性，在社交媒体中传播速度更快、更广泛，对公众造成的危害更具有破坏性。因此，设计一个快速准确的虚假新闻检测模型是有必要的。
[0003]传统的虚假新闻检测模型主要是基于文本的单模态模型，它们利用从新闻文本中提取的语义特征、基于立场特征、情感特征等进行检测。随着社交媒体的发展，新闻内容逐渐丰富，包括文本、图像等多模态形式。因此，一些基于多模态的检测模型被提出。但新闻在社交网络中并不是独立存在的，这些模型仅关注新闻内容，没有同时考虑新闻在社交网络中的社会语境。
[0004]在社交网络中，新闻与用户、帖子等实体有多种类型的关系，这些关系可以通过异构图来表示。附图2所示是一个新闻异构图例子。在附图2中，用户7发布了新闻3，并转发了新闻2，用户3转发了新闻1和新闻2，新闻1和新闻3、新闻1和新闻2很可能拥有相同标签(或新闻内容相似)。如果仅关注新闻内容是无法捕获附图2中所示的新闻1和新闻3、新闻1和新闻2之间的内在联系的。将与目标新闻节点有这种内在联系的节点称为新闻邻居节点、用户邻居节点、帖子邻居节点。
[0005]图注意网络(GAT)和图卷积网络(GCN)等图神经网络(GNN)通过聚合邻居节点学习目标节点的特征表示，在处理图结构数据时取得了较好的效果。然而，大多数现有的图模型主要用于处理同构图而不是异构图。一些针对异构图的模型虽然已经提出，但其中一些仍存在边同构或节点同构的问题，无法全面准确地捕捉新闻异构图的复杂性。最近，研究人员将Transformer应用到异构图的处理中，通过Transformer的编码器-解码器结构来捕获结构信息。
[0006]以上方法虽然在虚假新闻检测任务中有较好的性能，但它们存在以下不足：(1)难以捕捉动态融合。现有模型在进行多模态融合或聚合邻域上下文信息时赋予相同关注度，没有考虑到时序相似强度。具体来说，当发布一条新闻后，与发布时间越近的帖子越能反应新闻内容和用户的实时反应。因为随着时间增加，用户会获取到新的信息，或对新闻内容有更深入了解。(2)浅层的图结构特征表示。通过附图2可以看出深度捕获传播模式中的图结构信息对于提高虚假新闻检测性能的重要性。现有模型大多无法同时捕获图结构中节点和边之间的复杂关系以及传播模式中节点间的依赖关系。
发明内容
[0007]本发明目的在于克服现有模型存在的不足之处，搭建一种考虑传播模式动态社交图的虚假新闻检测模型，称为基于动态传播社交图的多模态虚假新闻检测模型。该模型预测准确率高，鲁棒性强，与现有模型相比在虚假新闻预测上有较好的性能。
[0008]本发明的技术方案是：
[0009]一种基于动态传播社交图的多模态虚假新闻检测模型(DPSG)，设计时序相似强度对传播序列中的邻居加权，并进行多模态动态融合。然后，构建目标节点的传播社交图，利用增强后的节点表示和图结构采用动态符号加权的方法捕获局部上下文结构。最后，利用Transformer感知传播序列中的全局语义并对多域信息融合进行虚假新闻检测。
[0010]基于动态传播社交图的多模态虚假新闻检测方法，通过多模态虚假新闻检测模型实现，本发明的基于动态传播社交图的多模态虚假新闻检测模型架构图，其包括传播序列捕获层、特征表示层、多模态动态融合、增强图结构抽取和邻居语义感知五部分，具体实施包括如下步骤：
[0011]步骤1：传播序列捕获层：根据数据集中的新闻、帖子和用户三类实体构建新闻异构图G＝(V，E)，其中V＝{N,P,U}表示新闻、帖子和用户三种节点类型的节点集，E表示它们之间的边集，mn、mp和mu分别表示新闻节点、帖子节点和用户节点的个数，遍历新闻节点ni∈N，对每个起始节点ni进行以下步骤T次：以概率p返回起始节点，或随机选择ni的邻居节点加入N(ni)集合中，直到对应类型邻居节点收集到规定数量，以确保每种类型的邻居节点都被采样，对N(ni)集合中新闻邻居节点Nn、帖子邻居节点Np和用户邻居节点Nu按照被采样频率排序，保留前k个频率最高的邻居节点，k＝kn+kp+ku；
[0012]步骤2：特征表示层：对于文本首先利用分词器填充或截断为长度为n的token序列T＝{[CLS],o1,o2,...,on,[SEP]}，然后将T输入到微调的RoBERTa模型获得嵌入向量，用[CLS]的嵌入向量表示整个token序列的嵌入向量表示dt表示嵌入维度，采用以上方法，依次获得以下标准化后的嵌入向量表示：新闻标题et、新闻内容ec，帖子信息ep，用户描述eu，对于视觉特征表示，使用预训练的ResNet18模型获取细粒度的图像特征向量，标准化后得图像表示其中dv表示图像特征向量维度，一些数值属性和类别属性，采用one-hot方法转为稀疏特征表示。数值属性进行归一化保证数值范围一致，得到帖子其他特征向量用户其他特征向量其中dop，dou分别表示帖子和用户其他特征向量的维度；
[0013]步骤3：多模态动态融合。为了精准获得异构图中每种类型节点的特征表示，设计多模态动态融合层，该层由时序相似强度和时序渗透融合块两部分组成。
[0014]进一步的，步骤3所述的时序相似强度中：
[0015]在目标新闻节点的新闻邻居节点和帖子邻居节点中，距离目标新闻节点越近的邻居节点，其内容越能反应目标新闻节点发布是的社会语境，因此设计时序相似强度，新闻邻居Nn中的第o个邻居与目标新闻ni的时间间隔计算如式(1)所示
[0016]
[0017]其中表示目标新闻ni的发布时间，to表示新闻邻居Nn中第o个邻居的发布时间；
[0018]新闻邻居Nn中的第o个邻居对目标新闻ni的时序相似强度如式(2)所示
[0019]
[0020]利用以上方法，可获得新闻邻居和帖子邻居对目标新闻ni的时序相似强度sn、sp，其中
[0021]进一步的，步骤3所述的时序渗透融合块中：
[0022]设计时序渗透融合块捕获新闻、用户和帖子三种类型节点的多模态动态融合特征，利用自注意机制来捕获各属性特征的内部依赖关系，以目标新闻ni的新闻邻居为例，首先拼接新闻节点的属性特征，包括标题、内容和视觉，进行线性转换为统一维度d，新闻邻居的标题特征Et的获取如式(3)所示
[0023]
[0024]其中，是可训练参数，concat(·)表示向量拼接操作；
[0025]采用多头自注意机制并行捕获新闻标题的语义依赖特征计算如式(4)所示
[0026]
[0027]其中，
[0028]采用相同方式，可以获得新闻邻居节点的新闻内容语义依赖特征视觉语义依赖特征和时序语义依赖特征然后，时序加权渗透可以向属性特征中渗透各邻居节点的时序信息，捕获邻居之间的动态关系，新闻标题时序渗透特征计算如式(5)所示
[0029]
[0030]其中，和分别表示目标新闻ni的新闻类型邻居的时序语义依赖特征和新闻标题语义依赖特征，
[0031]通过公式(5)可以获得新闻节点类型的新闻内容时序渗透特征和视觉时序渗透特征搭建平均池化层将新闻节点类型的三个属性特征融合到一起，获得新闻节点的融合特征表示计算如式(6)所示
[0032]
[0033]其中，MeanPool(·)表示平均池化操作。
[0034]采用以上相同方式可以获得目标新闻ni的融合特征帖子邻居的融合特征通过融合时序渗透信息和其他特征获得，而用户邻居的融合特征则无需考虑时序渗透，因为用户邻居间不存在动态关系，所以用户节点的融合特征通过融合内部依赖增强后的描述特征和其他特征获得，其中
[0035]步骤4：增强图结构抽取。由图结构增强、动态符号注意块和多模态对齐三部分组成。
[0036]进一步的，步骤4所述的图结构增强中：
[0037]图结构特征的抽取主要涉及到节点本身所包含的信息、节点间的关系两部分信息，对于节点本身的信息部分，采用多模态动态融合模块获得的融合特征，将多模态动态融合模块获得目标新闻的融合特征与其邻居节点的融合特征按照传播轨迹捕获序列N(ni)的顺序拼接一起，共同构成目标新闻ni的动态邻居嵌入序列Efus∈Rl×d，该序列中第一行为目标新闻ni的融合特征，其中l＝1+kn+kp+ku，对于节点间的关系部分采用搭建邻接矩阵的方式来表示，邻接矩阵的构建主要是从两种角度来获得节点间的复杂连接关系，一种是在异构图G中寻找l个节点间的连接关系，另一种是借助余弦相似度补充边连接，后者是因为在社交网络中，可能会因为个人隐私或数据爬取问题，不可避免的导致获取到的数据的不完整性，根据网络同质性，相似的节点间更容易产生连接，依据动态邻居嵌入序列计算各个节点间的余弦相似度，将余弦相似度大于0.5的节点间也添加边连接，在补充后，构建一个l×l的邻接矩阵A，若两节点间存在边则标为1，否则标为0，补充后的邻接矩阵包含更加全面的节点间的连接关系。
[0038]进一步的，步骤4所述的动态符号注意块中：
[0039]搭建动态符号注意块计算节点间的动态注意系数并按符号为邻居节点加权，以融合形成包含深度且丰富的图结构特征；
[0040]动态注意系数主要通过图注意力机制网络计算，在该过程中，由于动态邻居嵌入序列中渗透了时序语义，因此图注意机制在计算注意系数时也融合了节点间的动态关系，动态邻居嵌入序列的节点间的动态注意系数E+计算如式(7)所示
[0041]E+＝LeakyReLU((EfusWa1)+(EfusWa2)T)(7)
[0042]其中，Efus表示目标新闻ni的动态邻居嵌入序列，W、a1和a2为可训练参数，a1和a2分别为权重a的前d行和后d行，a∈R2d，Efus∈Rl×d，W∈Rd×d，E+∈Rl×l；
[0043]对动态注意系数E+标准化，如式(8)所示
[0044]E+′＝softmax(E+) (8)
[0045]在动态注意系数E+中会存在一些负值，这些负值反应了节点间的负相关关系，比如反对目标新闻的帖子等现象，这种关系对虚假新闻检测任务也很重要，但在softmax(·)函数后负值会变为较小值，这种负相关关系就会被忽略，因此，令E-＝-E+，然后再进行标准化，如式(9)所示
[0046]E-′＝softmax(E-) (9)
[0047]基于标准化后的动态注意系数E+′和E-′，根据邻居矩阵A中节点间的连接，按符号为邻居节点加权并聚合，将捕获正相关与负相关关系的聚合特征拼接，通过全连接层获得动态符号注意块输出特征fg，计算如式(10)所示
[0048]cfg＝ReLU((E+′Efus||E-′Efus)Wg) (10)
[0049]其中，ReLU(·)为激活函数，||表示拼接操作，Wg为可训练参数，Wg∈R2d×d，fg∈Rl×d；
[0050]将动态邻居嵌入序列输入动态符号注意块h次，用不同的动态注意系数加权聚合邻居节点，拼接输出后再次输入动态符号注意块中去获得更加全面和综合的图结构特征Fg，计算过程如式(11)所示
[0051]
[0052]其中，表示第j次获得的图结构特征，j∈[1,h]，DSA(·)表示动态符号注意块，σ(·)表示sigmoid激活函数，Fg∈Rl×d。
[0053]进一步的，步骤4所述的多模态对齐中：
[0054]采用多头注意力增强目标新闻及新闻邻居节点的图结构特征和融合特征，并将图结构特征和文本-视觉融合特征变换到同一特征空间中，如式(12)所示
[0055]
[0056]其中，和分别表示目标新闻ni及其新闻邻居节点的图结构特征，||表示拼接操作，
[0057]然后，采用MSE损失函数衡量图模态对齐，计算如式(13)所示
[0058]
[0059]步骤5：邻居语义感知。在获得目标新闻及其各类型邻居的融合特征以及图结构特征后，采用Transformer的encoder-decoder结构感知新闻传播序列上节点的上下文语义，获得目标新闻的感知特征，用于训练分类器。
[0060]进一步的，步骤5所述的Transformer结构输入中：Encoder的输入包括目标新闻节点ni及其N(ni)中所有邻居的融合特征表示Efus、对应位置嵌入Epos、图结构特征Fg和节点类型嵌入Etype，对于Efus和Fg采用公式(12)增强并转换到同一特征空间中，获得增强后特征表示E'fus和Fg'，Encoder输入序列Henc如式(14)所示
[0061]Henc＝E'fus+Epos+Fg'+Etype(14)
[0062]其中，Henc∈Rl×d；
[0063]Decoder的输入包括目标新闻ni及其N(ni)中的新闻邻居的增强后的融合特征表示对应位置嵌入增强后的图特征表示和节点类型嵌入Decoder输入序列Hdec如式(15)所示
[0064]
[0065]其中，
[0066]将获得的Henc和Hdec按照目标新闻ni的传播序列顺序分别馈送到Transformer模型的encoder和decoder中，捕捉节点间的关系，学习节点间信息交互与传递，聚合邻居节点的上下文语义信息，获得目标新闻ni的感知特征表示Hawa。
[0067]进一步的，本步骤5所述的训练分类器中：将目标新闻ni的感知特征表示Hawa输入全连接层中，并通过sigmoid激活函数预测目标新闻是否为虚假新闻，计算如式(16)所示
[0068]
[0069]其中，Wawa和bawa分别为可训练权重和偏置，σ(·)表示sigmoid激活函数；
[0070]采用交叉熵损失函数进行计算，如式(17)
[0071]
[0072]总体损失L如式(18)所示
[0073]
[0074]其中λa和λc分别用来平衡La和Lc两个损失函数。
[0075]进一步的，本发明步骤3中的多头自注意机制的方法为：多头注意机制将输入Et映射到查询、键和值三个矩阵中，使用Q′＝EtWtQ、K′＝EtWtK和V′＝EtWtV方式将Et线性变换H次，并行执行注意机制，多头注意机制计算如式(19)(20)所示
[0076]
[0077]
[0078]其中，dk表示K′的维度，WM∈Rd×d，d表示统一投射维度，||表示拼接操作。
[0079]本发明的优点和有益效果：
[0080]本发明为虚假新闻检测领域提供了一种全新的思路和方法，具有高准确率、强鲁棒性等优点，提出了一种基于动态传播社交图的多模态虚假新闻检测模型(DPSG)。该模型利用多模态动态融合模块，以时序加权方式融合传播序列中各节点的多模态特征。通过符号注意块获取图结构特征，并利用Transformer感知全局语义，从而实现对传播模式的准确捕获。在多个数据集上的实验结果表明，模型在虚假新闻检测任务上表现出了显著的优越性。通过分析实验结果，在基于GNN的方法中，模型相比其他方法表现出更好的性能，尤其在构建异构节点和异构边的模型方面。此外，模型还在捕获时序信息和全局语义信息上取得了较好的效果，相较于其他基线模型，在准确率和F1分数上均取得了显著提升。综上所述，本发明为虚假新闻检测任务提供了一种创新的解决方案，具有重要的应用前景和实际意义。
附图说明
[0081]图1为本发明的基于动态传播社交图的多模态虚假新闻检测模型流程图。
[0082]图2为新闻异构图例子。
[0083]图3为本发明的基于动态传播社交图的多模态虚假新闻检测模型架构图。
[0084]图4为在三个数据集上准确率随学习率的变化。
[0085]图5为在三个数据集上准确率随batchsize的变化。
[0086]图6为在三个数据集上准确率随统一投射维度的变化。
[0087]图7(a)-(c)分别为在PHEME、PolitiFact和GossipCop上准确率随损失权重的变化。
[0088]图8(a)-(c)分别为在PHEME、PolitiFact和GossipCop上各个变体与本发明DPSG模型间的实验结果对比。
具体实施方式
[0089]下面结合附图和实施例对本发明的具体实施方式进行详细描述。本实施例在以本发明技术方案为前提下进行实施，以便相关领域的技术人员能更好地理解本发明的技术特点和功能特点，但本发明的保护范围不限于下述实施例。
[0090]一种基于动态传播社交图的多模态虚假新闻检测模型(DPSG)，附图1所示为本发明的算法流程图。附图3所示为本发明的基于动态传播社交图的多模态虚假新闻检测模型架构图，其包括传播序列捕获层、特征表示层、多模态动态融合、增强图结构抽取和邻居语义感知五部分。在本实施例中，本发明使用Pytorch平台配备英特尔酷睿i7-8700KCPU3.70GHz×12、GeForceRTX2080Ti GPU和Ubuntu18.04.3LTS的服务器上运行所有实验。
[0091]采用三个数据集评估提出模型在虚假新闻检测任务上的性能，即PHEME、PolitiFact和GossipCop。PHEME数据集是由Twitter上的不同突发新闻的推文构成的。PolitiFact和GossipCop数据集来自FakeNewsNet，这两个数据集主要关注美国社会中政治和名人方面的新闻信息。采用的三个数据集都包括丰富的文本、图像等信息，删除空白新闻后的数据集统计信息如表1所示。
[0092]表1数据集统计
[0093]
[0094]
[0095]对于特征表示层中，数据集的文本采用RoBERTa模型处理，新闻文本进一步采用T5模型处理获得嵌入向量，输出维度为768。对于数据集中的图像采用ResNet模型获得嵌入向量，输出维度为512。对于PSG层的RWR方法，p＝0.5，T＝＝10000。MDF和EGSE层的多头注意力机制的注意头h＝8。对于NSG层的Transformer的encoder-decoder结构层数，在PHEME和Gossipcop数据集上分别设置为1，在PolitiFact数据集上分别设置为6。在实验过程中，将数据集的10％作为实验的测试集，剩余90％按照4:1的比例分为训练集和验证集。实验结果选择五次运行结果中的性能最好的实验结果。每个模型最多训练40次，耐心值设为5。
[0096]将以下模型作为基线与本发明DPSG模型进行对比实验，以验证模型在虚假新闻检测任务上的优越性：
[0097]1)SVM-RBF：利用带有RBF核函数的SVM分类器对人工提取的特征分类进行谣言检测。
[0098]2)DTC：利用人工提取的数据集特征训练决策树分类器评估消息的真实性。
[0099]3)HetGNN：搭建基于BiLSTM的图卷积网络模型同时学习异构图中异构结构以及节点信息。
[0100]4)IARNet：构造两级注意力机制学习异构图信息，采用图卷积进行虚假新闻检测。
[0101]5)HMGNN：该模型构造超节点连接全局和局部异构图，关注异构图中不同的边类型，采用图卷积网络进行欺诈检测。
[0102]6)BERT：基于Transformer双向编码器的语义处理模型。
[0103]7)HGT：该模型针对异构图中节点和边的特定类型基于Transformer获取图结构特征。
[0104]8)HetTransformer：利用Transformer结构捕获异构图中新闻传播模式全局上下文语义进行虚假新闻检测。
[0105]9)EBGCN：针对社交媒体中传播结构的不可靠问题采用贝叶斯方法搭建谣言检测过程中鲁棒图结构。
[0106]10)MFAN：利用GAT学习文本、视觉和社交图多模态特征的交互融合进行谣言检测。
[0107]准确率常被用来评估虚假新闻预测模型的性能，定义为预测正确数量与总数量之比。但考虑到数据集中正例和负例分布不平衡的问题，进一步采用虚假新闻和真实新闻的Precision、Recall、F1分数评估模型的实验结果。用P和N分别表示给定新闻为真实新闻和虚假新闻，用T和F分别表示模型预测给定新闻为真实新闻和虚假新闻。则评估标准公式如(22)-(24)所示。
[0108]
[0109]为优化DPSG模型的性能和泛化能力，对模型的学习率α，batchsize,统一投射维度d，La和Lc的损失权重λa和λc五个超参数在三个数据集上进行了实验，具体过程如下：
[0110]1)模型中的学习率决定了每次迭代中的步长大小，过小的学习率会导致梯度消失，而过大的学习率又会导致梯度过大。合适的学习率可以使模型在训练集上快速收敛并在测试集上达到较好的性能。实验过程中，设置学习率α值设为10-i，i∈[1,5]，并保持其他超参数不变，实验结果如附图4所示，在三个数据集上，模型的准确率都是随着i值的增大先增大后减小，这表明过小和过大的学习率都会影响模型的性能。观察到在PHEME和GossipCop数据集上，当α＝10-2时，准确率分别到达最高值95.5％和97.5％。而在PolitiFact数据集上，当α＝10-4时，模型性能才达到最优。这表明对于复杂数据集(如PHEME和GossipCop)模型可能需要较大的学习率才能更好拟合数据，加速模型收敛。而PolitiFact数据集仅有786个新闻节点，相对简单，较小的数据集可以更好控制模型训练过程，防止模型过拟合。
[0111]2)将batch size值设为2i，i∈[2,6]。实验结果如附图5所示，在三个数据集上，模型性能随batch size的增大先变好后变差，这可能是因为，当batch size过小时，会导致模型参数更新方向不够准确，影响模型的收敛性能。batch size过大时，模型容易陷入局部极小值，从而忽略全局极小值。在PHEME、PolitiFact和GossipCop数据集上，当batch size值分别设为8、32和16时模型性能达到最优。在三个数据集中，PHEME数据集节点数最少，较小的批量大小有助于模型频繁更新参数，提高模型的敏感性和泛化能力。PolitiFact数据集中等，较大的批量大小可能有助于模型更充分地利用数据进行训练。GossipCop数据集节点数最大，中等的批量大小可以有效平衡模型的性能和效率。
[0112]3)固定其他超参数的值，在三个数据集上统一投射维度d与模型性能间的关系如附图6所示，d∈[64,256]。从附图6中可以看出，当d∈[64,128]时，模型准确率随着维度增大而增大，这表明当维度过小时会导致模型欠拟合。当d∈[128,256]时，模型准确率随着维度增大而降低，这可能因为维度过大导致模型出现过拟合问题。当d＝128时PHEME、PolitiFact和GossipCop数据集都取得了最高的准确率，分别为95.5％、98.5％和99.1％。
[0113]4)模型总体损失由交叉熵损失函数Lc和MSE损失函数La两部分组成，对两部分的损失权重λa和λc进行超参数实验，选择11种组合探索不同权重对模型性能的影响，在三个数据集上的实验结果如附图7所示。随着损失权重λa和λc值的变化，在PolitiFact数据集上，模型准确率在[0.895,0.985]之间变化，在PHEME和GossipCop数据集上，准确率相对稳定，分别在[0.948,0.955]和[0.985,0.991]范围变化。在PHEME、PolitiFact和GossipCop数据集上，超参数组合(1.8,1.2)、(2.15,1.55)和(2.5,1.4)分别达到最佳效果95.5％、98.5％和99.1％。观察附图7发现在每个数据集上，模型的准确率都在一个相对稳定的范围波动，这表明模型相对稳健，具有一定的泛化能力。
[0114]本发明的效果可以通过以下性能分析验证：
[0115]1.对比实验
[0116]表2展示了本发明DPSG和基线模型在三个数据集上关于准确率、精准率、召回率和F1分数的实验结果，最佳结果已用加粗字体标出。通过表2数据可以得到以下分析结果：
[0117]1)利用特征工程的方法(如HetGNN、HetTransformer和MFAN)比利用人工提取数据集特征的方法(SVM-RBF和DTC)在预测虚假新闻性能上较强，利用人工提取特征的方法准确率最高为71.3％，这可能是因为人工提取的特征更侧重于从新闻内容中捕获特征，而忽略了新闻传播模式的上下文语义信息。
[0118]2)在基于GNN的方法中，DPSG方法相比于HetGNN、IARNet、HMGNN和MFAN方法在三个数据集上准确率、虚假新闻F1分数和真实新闻F1分数上都取得了较好的实验结果。在PolitiFact数据集上，比排名第一的HetGNN方法在准确率、虚假新闻F1分数和真实新闻F1分数上分别高6％、6.6％和5.4％。DPSG和HetTransformer方法的实验结果优于基于GNN的方法的原因可能是Transformer的encoder-decoder结构可更有效融合新闻标题、内容和图像等多域信息。
[0119]3)在捕获新闻传播模式时，构建异构节点和异构边的模型(如DPSG、HetGNN、HGT和HetTransformer)比构建同构节点异构边的模型(如HMGNN)在预测虚假新闻任务上有较好的性能。
[0120]4)对于捕获时序信息上，DPSG优于HetGNN方法的原因可能是，在HetGNN方法中利用BiLSTM处理序列信息，此时序列中各节点间时间间隔是相同的，没有捕获到节点间的时间差异。
[0121]5)在基于Transformer的方法中，DPSG在三个数据集上所表现的性能优于BERT、HGT和HetTransformer方法。在PHEME数据集上，DPSG方法比排名第一的HetTransformer方法在准确率、虚假新闻的F1分数和真实新闻的F1分数上分别高13％、16.5％和10.8％。BERT方法仅利用Transformer捕获新闻文本特征而忽略了视觉信息和传播模式，HGT仅将文本特征而不是多模态特征送入编码器，HetTransformer仅捕获了传播模式中全局语义信息而忽略了局部语义信息和动态特征融合。
[0122]6)在PHEME、PolitiFact和GossipCop数据集上，本发明DPSG方法分别取得了95.5％、98.5％和99.1％的准确率，相比于最优基线在准确率上至高提升了6.2％的性能。这表明DPSG在考虑多模态间的动态融合、新闻异构图中传播模式下局部和全局的上下文语义信息后，可以捕获更全面综合的特征用于虚假新闻预测任务。
[0123]表2不同基线和提出模型在三个数据集上的实验结果
[0124]
[0125]
[0126]2.各模块的消融实验
[0127]为了证明本发明DPSG模型中提出的各个部分的有效性，将模型分解为以下三个变体：-Temporalsimilaritystrength、-EGSE、-Transformerdecoder。-Temporalsimilaritystrength表示移除时序渗透融合块中的动态信息，-EGSE表示移除从DPSG模型中移除图结构特征，-Transformerdecoder表示移除NSA模块中Transformer的解码器。
[0128]实验结果如表3所示，通过表3中数据可以观察到：TheexperimentalresultsareshowninTable3,fromwhichitcanbeobservedthat:
[0129]1)总体来说，各变体性能相较于DPSG模型的性能差，在准确率上从0.7％降至7.7％，各变体与DPSG实验结果表明了各模块对于提高虚假新闻预测性能的有效性。
[0130]2)删除时序相似强度导致模型在三个数据集上的性能下降，准确率分别下降了0.7％、6.2％和1.2％，这表明在获取社交上下文语义信息时考虑动态信息符合现实情况，对虚假新闻检测任务起积极作用。
[0131]3)-EGSE变体在三个数据集上的表现相比整体模型差，在虚假新闻F1上分别降低了2.3％、7.7％和3.1％，在真实新闻F1上分别降低了1.2％、7.8％和1％。这表明EGSE模块可以有效学习局部上下文语义，捕获目标新闻的图结构特征。
[0132]4)-Transformerdecoder实验结果表明利用Transformer的decoder结构可以捕获传播序列的全局语义信息，促进邻居节点与目标节点之间特征融合。仅使用encoder的输出进行预测使得模型性能下降，具体来说，在三个数据集上准确率分别下降了0.8％、7.7％和1.8％。
[0133]表3提出的模型中模块消融实验结果
[0134]
[0135]3.增强图结构抽取模块的消融实验
[0136]为了进一步评估EGSE模块中各个部分的有效性，提出以下五种变体：-Enhancement、-DSA、-DSA(positive)、-DSA(negative)、-Alignment。-Enhancement表示在图结构增强部分不考虑数据的不完整性问题。-DSA表示不采用符号注意加权，-DSA(positive)和-DSA(negative)分别表示在进行符号注意加权时不考虑节点间的正相关关系和负相关关系。-Alignment表示不考虑图结构特征和文本-视觉融合特征之间的模态对齐。在三个数据集上各个变体与本发明DPSG模型间的实验结果对比如附图8所示。从附图8实验结果可以获得以下观察结果：
[0137]1)总体来说，去除EGSE模块中的任何部分都会影响模型在虚假新闻检测中的性能，准确率从0.5％降至12.3％，考虑图结构特征的必要性得到了验证。设计的捕获图结构特征方式也被证明是有效的。
[0138]2)在捕获图结构特征时，不考虑数据不完整性问题，会导致模型性能在三个数据集上准确率分别下降0.7％、3.1％和3.6％。
[0139]3)在去除动态符号注意块后，模型准确率从1.2％降至5％。与移除负相关关系相比，移除正相关关系反映了较低性能，在三个数据集上的准确率至少下降了0.8％。这表明正相关关系更有利于提高模型性能。
[0140]4)在移除文本-视觉特征与图特征间的模态对齐后，-Alignment变体性能相较于整体模型性能较差，尤其在PolitiFact数据集上，准确率、虚假新闻F1和真实新闻F1指标分别下降了12.3％、12.4％和12.7％。这表明图模态对齐的设计对于促进图结构特征和文本-视觉特征间的融合的有效性。
[0141]需要进一步说明的是，以上实施方式仅仅用于对本发明技术方案的进一步说明，并非用于对本发明保护范围的限制，对属于本发明技术构思而对本发明做出的显而易见的调整及修改，均应属于本发明保护范围之内。