1.5G直播场景下的网内前向纠错编码方法，其特征在于，

主播通过5G上行链路的可编程交换机连接到视频流服务器，将实时视频流推送至视频流服务器，服务器将视频流分发到CDN节点，之后用户拉取视频流到本地播放；所述方法包括：

1)直播开始后，主播端采集实时视频数据，并将视频像素数据压缩成视频码流，按照规定格式将视频码流存储在文件中，根据协议将规定格式的文件封装成视频数据包，将数据包发送到可编程交换机；

2)主播段根据直播架构已有的网络探测算法评估网络判断数据包是否需要进行前向纠错编码，并标记在数据包的头部字段；

可编程交换机解析并提取数据包头部的字段，如果不需要进行编码，直接转发给视频流服务器；如果需要编码，对数据包进行前向纠错编码、校验和重新计算和数据包重新打包之后转发给视频流服务器；

3)视频流服务器将收到的视频流数据包进行解码、重编码和包装处理，然后将视频流传送至CDN节点，CDN节点将视频流缓存，并传送给用户；

4)用户端使用终端设备连接到CDN节点，从CDN节点拉取视频流到本地，将流媒体协议的视频流解析成标准的格式数据，对格式数据解封装得到视频码流，再解码成原始的视频数据，送至系统的显卡设备播放出来。

2.根据权利要求1所述的5G直播场景下的网内前向纠错编码方法，其特征在于：

主播终端设备、视频流服务器和用户终端设备均连接至5G网络，该5G网络下行链路带宽充足，能支持高质量的视频数据传输；上行链路带宽受限，主播终端设备难以以最高质量上传视频数据。

3.根据权利要求1所述的一种5G直播场景下的网内前向纠错编码方法，其特征在于，可编程交换机将数据包中的数据解析成字长为w比特的n个数据块Dj(j＝1,…,n)，每个数据块为伽罗华域GF(2w)中一个多项式的二进制表示，编码系数同样属于伽罗华域GF(2w)，且满足任意n组行向量组成的n*n的编码矩阵在伽罗华域中可逆。

4.根据权利要求3所述的5G直播场景下的网内前向纠错编码方法，其特征在于，将数据包中的n个数据块Dj(j＝1,…,n)进行编码得到m个新数据块Bi(i＝1,…,m)，将数据块视为列向量(D1,D2,…,Dn)T，编码系数视作m*n的编码矩阵((C11,C12,…,C1n),…,(Cm1,Cm2,…,Cmn))T：

公式(1)为伽罗华域中的矩阵乘法运算，



Cij(i＝1,…,m；j＝1,…,n)为编码系数，Dj(1＝1,…,n)为数据块，Bi(i＝1,…,m)为编码得到的新数据块；

伽罗华域中的每个值对应一个低于w次的多项式，在伽罗华域上的四则运算对应多项式空间的运算：

公式(2)和公式(3)表示伽罗华域中的乘法运算，

Cij*Dj＝gfilog[gflog(Cij)+gflog(Dj)]mod(Threshold)#(2)



gflog(·)和gfilog(·)分别用于求域中的元素的对数和反对数，Threshold表示伽罗华域中的元素阈值，即Threshold＝2w-1；

公式(4)表示伽罗华域中的加法运算，

(Ci1*D1)+(Ci2*D2)+…＝(Ci1*D1)XOR(Ci2*D2)XOR…#(4)

XOR表示异或运算。

5.根据权利要求4所述的5G直播场景下的网内前向纠错编码方法，其特征在于，通过编码得到n+m个新的数据块D*＝(D1,D2,…,Dn,B1,…,Bm)，其中D*是D的线性组合：

公式(5)表示了D*与D的关系，



6.根据权利要求5所述的5G直播场景下的网内前向纠错编码方法，其特征在于，将编码转换的n+m个数据块重新打包，得到新的数据包，每个数据包有k(k|n,k|m)个数据块，则原始的n个数据块被重新打包成s(s*k＝n)个数据包，编码得到的m个数据块被重新打包成c(c*k＝m)个数据包。

7.根据权利要求1所述的5G直播场景下的网内前向纠错编码方法，其特征在于，视频流服务器收到编码的数据包之后，对数据包进行解码得到原数据包，并转发给CDN服务器，用户通过拉取CDN服务器上的视频流进行本地播放。

技术领域

[0001]本发明属于5G直播场景下的网内编码领域，涉及前向纠错编码技术和可编程交换机网内编程技术。

背景技术

[0002]随着第五代移动通信技术(5G)的广泛普及和发展，直播行业迎来了崭新的时代。而且随着视频流媒体服务的发展，符合高帧率、高位深、广色域、高动态范围等技术要求的超高清视频正在快速普及。5G技术的引入带来了更高的带宽、更低的延迟以及更稳定的网络连接，为直播超高清视频提供了巨大的机遇和挑战。

[0003]直播需要足够的带宽来满足高质量视频流的实时性和稳定性，而在5G网络中，尽管用户有充足的带宽用于下载视频流，但上行带宽相对有限，一旦上行链路的网络发生波动出现网络拥塞，就会导致数据包丢失或传输时延增加等情况。传统点播视频应用可以设置较大缓冲区以弥补包括数据包丢失、抖动等网络问题带来的影响。不同于点播应用，现有直播要求毫秒级延迟，对于端到端延迟有高实时性的要求，缓冲区往往设置较小，难以对抗丢包等网络波动，对于网络依赖性较大。尤其在现有视频编码体系下，帧和帧之间往往存在依赖关系，一旦丢失了关键帧可能会导致后续连续帧解码失败，将会造成难以忍受的用户体验质量下降(Quality ofExperience，QoE)。

[0004]针对网络拥塞、包抖动等问题导致数据包丢失的情况，拥塞控制、自适应比特率和前向纠错编码等技术给出了解决方案。例如Google团队针对低延时实时视频流设计的拥塞控制算法SQP，使用规律的采样数据包探测网络带宽，以实现链路带宽高利用率和低延迟。现有的方法可以根据观测缓冲区和吞吐量信息，使用深度强化学习模型决策视频发送的比特率，通过实时自适应地调整比特率来控制视频上传质量，最大限度利用上行链路的带宽。但拥塞控制算法对视频编码比特率的调整依赖于视频帧的完整性，在统计时必须以帧为单位，如果帧之间传输的数据包偏差过大会严重影响算法的可靠性。而且一旦短时间内网络出现波动，高度动态变化的网络导致发送端难以预测带宽并快速改变比特率，而网络拥塞会进一步导致端到端延迟的激增，使得高质量的直播视频难以实时流畅地播放。

[0005]在直播中，通常还可使用前向纠错编码技术来恢复丢失的数据包，通过以冗余方式编码生成额外的数据包，当发生数据包丢失时，冗余数据包允许接受方检测错误并在不断传输的情况下纠正错误，可以在一定程度上缓解丢包的情况。为了准确设置冗余率，通常可以在发送端使用强化学习模型调整视频比特率和前向纠错编码冗余率，以取代Google拥塞控制算法，将跟踪延迟变化作为强化学习的关键因素，将当前网络状态映射到视频编码的目标比特率和分组丢失情况下的前向纠错编码冗余率，避免在动态网络条件下过度使用或未充分使用链路带宽。也可以在接收端根据过去一段时间的数据包丢失率、帧大小等信息选择冗余率并回传给发送方，发送方根据冗余率生成冗余数据包传输，以提高传输视频的质量并同时最大限度地减少冗余编码使用的额外带宽。但不管是在发送端还是接收端实时设置冗余率，目前的工作都在发送端即主播端进行冗余编码，而主播的终端设备通常算力有限，进行高质量视频的冗余编码可能需要额外的CPU、GPU或专用硬件支持，并不适用于移动设备等资源受限的情况。

[0006]因此提出一种在5G上行链路中，缓解直播视频流丢包的前向纠错编码优化方案是本领域技术人员亟待解决的技术问题，以此保证以直播为代表的低延时、高质量的交互式实时视频应用的用户体验。

发明内容

[0007]本发明的目的是解决由于上行链路带宽不足、网络拥塞等导致的直播视频流丢包问题。本发明可以通过在网内使用可编程交换机进行前向纠错编码缓解丢包问题，避免直播过程中出现卡顿、掉帧等现象，从而提高用户的体验质量。

[0008]本发明的技术方案

[0009]5G直播场景下的网内前向纠错编码方法，所述方法如下：

[0010]构建针对网络带宽不足的前向纠错编码方法。针对上行带宽不足、网络波动等特性，提出一种符合情况的前向纠错编码方法，通过在带宽不足、网络拥塞时进行冗余纠错编码，纠正和恢复丢失的数据包，减轻数据包丢失对视频质量的不利影响。

[0011]提出将可编程交换机、前向纠错编码技术相结合的方法。将前向纠错编码从主播的终端设备卸载到可编程交换机，减缓终端算力压力；通过可编程交换机可以在数据面线速编码和转发数据包，减少端到端的反馈延迟，提高用户体验。

[0012]所述方法的步骤包括：

[0013]1)主播在直播平台开启直播，将直播视频流经可编程交换机传输给视频流服务器，服务器将视频流转发给CDN，直播观看用户通过CDN拉取视频进行观看。

[0014]2)主播端根据各种已知的直播网络监测算法判断是否需要对数据包进行前向纠错编码，并将结果保存在数据包的头部字段中，将数据包传输给可编程交换机。

[0015]3)可编程交换机对数据包进行解析处理，根据数据包包头的字段判断是否需要进行前向纠错编码，如果不需要前向纠错编码，转发数据包给视频流服务器；如果需要前向纠错编码，根据控制面下发的流表项对数据包进行前向纠错编码处理，将编码之后的数据包重新计算校验和并打包转发给视频流服务器。

[0016]4)视频流服务器收到数据包之后对编码的数据包进行解码，得到原数据包，并转发给CDN服务器。

[0017]5)用户拉取CDN服务器的视频流到本地，进行解码合并后播放。

[0018]本发明提出的可编程交换机与前向纠错编码技术相结合的实时编码方法，在可编程交换机的数据面中将数据包中的数据解析成字长为w比特的n个数据块Dj(j＝1,…,n)，每个数据块为伽罗华域GF(2w)中一个多项式的二进制表示。预先在控制面将编码系数Cij(i＝1,…,m；j＝1,…,n)写入到可编程交换机的寄存器中，编码系数同样属于伽罗华域GF(2w)，且满足任意n组行向量组成的n*n的编码矩阵在伽罗华域中可逆。每次数据面编码处理时将其从寄存器中读出，然后对数据块进行随机线性网络编码(Random Linear NetworkCoding，RLNC)得到m个新数据块Bi(i＝1,…,m)。编码计算使用伽罗华域中的四则运算法则，将数据块视为列向量(D1,D2,…,Dn)T，编码系数视作m*n的编码矩阵((C11,C12,…,C1n),…,(Cm1,Cm2,…,Cmn))T，公式(1)表示编码系数Cij(i＝1,…,m；j＝1,…,n)与数据块Dj(1＝1,…,n)进行伽罗华域中的矩阵乘法运算，其中Bi(i＝1,…,m)为编码得到的新数据块。

[0019]

[0020]伽罗华域中的每个值对应一个低于w次的多项式，在伽罗华域上的四则运算对应多项式空间的运算。公式(2)表示伽罗华域中的乘法运算，其中gflog(·)和gfilog(·)分别用于求域中的元素的对数和反对数，Threshold表示伽罗华域中的元素阈值，即Threshold＝2w-1。在进行乘法运算的时候可以使用查表法，查阅元素的对数和反对数表进行计算，但由于在交换机中进行乘法运算的时候，伽罗华域比较大(w大于32)，对数表和反对数表(表项有2w项)较大，不适用运算。因此本发明使用公式(3)中的乘法运算，其中Pw表示伽罗华域GF(2w)中的本原多项式的二进制表示，域中的每个元素均可以由本原多项式生成。公式(4)表示伽罗华域中的加法运算，其中XOR表示异或运算。

[0021]Cij*Dj＝gfilog[gflog(Cij)+gflog(Dj)]mod(Th resh old)#(2)

[0022]

[0023](Ci1*D1)+(Ci2*D2)+…＝(Ci1*D1)XOR(Ci2*D2)XOR…#(4)

[0024]可编程交换机通过编码得到n+m个数据块D*＝(D1,D2,…,Dn,B1,…,Bm)，则D*是D的线性组合，公式(5)表示了其中的关系。

[0025]

[0026]将编码转换的数据块重新打包，得到新的数据包，每个数据包有k(k|n,k|m)个数据块，则原始的n个数据块被重新打包成s(s*k＝n)个数据包，编码得到的m个数据块被重新打包成c(c*k＝m)个数据包。

[0027]为了便于服务器对编码的数据包进行解码，在数据块之前增加一个编码头RLNC_Header，一共4字节。表1表示编码头的各个字段，分别为原数据包标识符Packet ID，原数据包数据块数量Original Packet Size，编码后数据包数据块数量Coded Packet Size，编码后数据包标识符Coded Packet ID以及数据包类型Packet Type，其中Packet Type包含三种类型，分别是Normal(0)表示不需要编码的数据包、Need_Code(1)表示需要且未编码的数据包、Coded(2)表示需要且已经编码的数据包。

[0028]表1编码头字段

[0029]

[0030]可编程交换机将重新打包的数据包转发给视频流服务器，视频流服务器可以容忍任意c个数据包的丢失(即m个数据块)，对于收到的任意s个数据包(即n个数据块)，根据公式(5)中原数据D与重新编码后的数据D*的关系，收到的n个数据块可由原数据块D左乘n*n个编码系数的组成的矩阵得到，所以原数据块可由收到的n个数据块左乘对应的编码系数逆矩阵得到。视频流服务器将原始数据进行解码恢复，分发给CDN服务器。直播观看用户从CDN服务器中拉取对应的视频流，在本地进行协议解析、视频解码并播放。

[0031]所述基于可编程交换机的网内前向纠错编码符合5G直播场景下上行链路带宽受限、视频帧率高和低延时的特征和实际需求，能够提升用户的直播体验质量。

[0032]本发明相较现有技术具有以下有益效果：

[0033]本发明利用可编程交换机实现实时前向纠错编码。与现有的其他技术相比，通过可编程交换机可以实现用户自定义控制数据包编码逻辑，使用专用硬件和高度优化的数据面逻辑线速编码处理数据包，具有高性能和低延迟的优点，有效避免数据包丢失造成的直播视频卡顿等情况，从而实现稳定高质量的直播服务。

附图说明

[0034]图1是本发明的流程图；

[0035]图2是本发明的可编程交换机处理与编码数据包的流程图；

[0036]图3是本发明与传统算法在视频流传输时的丢包率比较图；

[0037]图4是本发明与传统算法在视频流传输时的丢帧率比较图；

具体实施方式

[0038]为了更清楚地说明本发明技术方案，下面将结合附图和实施例进行详细说明。

[0039]本发明提供的一种5G直播场景下的网内前向纠错编码方法，主播通过5G上行链路的可编程交换机连接到视频流服务器，将实时视频流推送至视频流服务器，服务器将视频流分发到CDN节点，之后用户拉取视频流到本地播放；所述方法包括：

[0040]1)直播开始后，主播端采集实时视频数据，并将视频像素数据压缩成视频码流，按照规定格式将视频码流存储在文件中，根据协议将规定格式的文件封装成视频数据包，将数据包发送到可编程交换机；

[0041]2)主播段根据直播架构已有的网络探测算法评估网络判断数据包是否需要进行前向纠错编码，并标记在数据包的头部字段；

[0042]可编程交换机解析并提取数据包头部的字段，如果不需要进行编码，直接转发给视频流服务器；如果需要编码，对数据包进行前向纠错编码、校验和重新计算和数据包重新打包之后转发给视频流服务器；

[0043]3)视频流服务器将收到的视频流数据包进行解码、重编码和包装处理，然后将视频流传送至CDN节点，CDN节点将视频流缓存，并传送给用户；

[0044]4)用户端使用终端设备连接到CDN节点，从CDN节点拉取视频流到本地，将流媒体协议的视频流解析成标准的格式数据，对格式数据解封装得到视频码流，再解码成原始的视频数据，送至系统的显卡设备播放出来。

[0045]可编程交换机将数据包中的数据解析成字长为w比特的n个数据块Dj(j＝1,…,n)，每个数据块为伽罗华域GF(2w)中一个多项式的二进制表示，编码系数同样属于伽罗华域GF(2w)，且满足任意n组行向量组成的n*n的编码矩阵在伽罗华域中可逆。

[0046]将数据包中的n个数据块Dj(j＝1,…,n)进行编码得到m个新数据块Bi(i＝1,…,m)，将数据块视为列向量(D1,D2,…,Dn)T，编码系数视作m*n的编码矩阵((C11,C12,…,C1n),…,(Cm1,Cm2,…,Cmn))T：

[0047]公式(1)为伽罗华域中的矩阵乘法运算，

[0048]

[0049]Cij(i＝1,…,m；j＝1,…,n)为编码系数，Dj(1＝1,…,n)为数据块，Bi(i＝1,…,m)为编码得到的新数据块；

[0050]伽罗华域中的每个值对应一个低于w次的多项式，在伽罗华域上的四则运算对应多项式空间的运算：

[0051]公式(2)和公式(3)表示伽罗华域中的乘法运算，

[0052]Cij*Dj＝gfilog[gflog(Cij)+gfilog(Dj)]mod(Th resh old)#(2)

[0053]

[0054]gflog(·)和gfilog(·)分别用于求域中的元素的对数和反对数，Threshold表示伽罗华域中的元素阈值，即Threshold＝2w-1；

[0055]公式(4)表示伽罗华域中的加法运算，

[0056](Ci1*D1)+(Ci2*D2)+…＝(Ci1*D1)XOR(Ci2*D2)XOR…#(4)

[0057]XOR表示异或运算。

[0058]通过编码得到n+m个新的数据块D*＝(D1,D2,…,Dn,B1,…,Bm)，其中D*是D的线性组合：

[0059]公式(5)表示了D*与D的关系，

[0060]

[0061]将编码转换的n+m个数据块重新打包，得到新的数据包，每个数据包有k(k|n,k|m)个数据块，则原始的n个数据块被重新打包成s(s*k＝n)个数据包，编码得到的m个数据块被重新打包成c(c*k＝m)个数据包。

[0062]视频流服务器收到编码的数据包之后，对数据包进行解码得到原数据包，并转发给CDN服务器，用户通过拉取CDN服务器上的视频流进行本地播放。

[0063]本发明主播终端设备、视频流服务器和用户终端设备均连接至5G网络，该5G网络下行链路带宽充足，能支持高质量的视频数据传输；上行链路带宽受限，主播终端设备难以以最高质量上传视频数据。

[0064]实施例1：

[0065]本发明搭建图1所示网络架构，在一台Intel(R)Core(TM)i9-10900K上使用基于Mininet虚拟网络和Bmv2(BehaviorModelVersion 2)可编程交换机扩展的P4-Utils搭建了一个5G上行视频传输网络，在网络中使用软件可编程交换机s1表示在上行链路中进行编码的可编程交换机，设置丢包率模拟上行链路中存在的网络波动和阻塞，使用两个Host分别模拟主播端和视频服务器，使用基于WebRTC的aiortc即时通信工具库搭建一个直播架构。主播端和视频流服务器首次建立连接时使用TCP协议，在交换SDP信息后断开TCP连接，并使用RTP协议进行实时视频传输，通过RTCP报文获取网络状态信息，主播端使用vp8对预先准备的视频进行编码，将编码后的视频流传输给视频流服务器。

[0066]主播在直播平台开启直播，将高分辨率、高帧率的直播视频流经可编程交换机实时传输给视频流服务器，因此本发明在主播和视频流服务器之间即上行链路中设计了一种基于5G直播场景下的网内前向纠错编码方法，主播端实时监控网内拥塞状况，可编程交换机对数据包进行网内前向纠错编码，从而缓解数据包丢包所造成的直播卡顿问题。

[0067]图2展示了视频流数据包进入可编程交换机到从出口转发的整个过程。数据包首先经过Parser解析阶段进行拆包，将数据包的各层包头和数据块解析出来，然后通过Ingress处理阶段和Egress处理阶段，最后通过Checksum阶段重新计算校验和和Deparser反解析阶段重新打包数据包，将数据包转发出去。在Ingress阶段，首先根据标准元数据Standard Metadata访问数据包进入的端口，然后查表获得数据包转发的出口端口并写入元数据。如果数据包不需要进行编码，则直接到下一个阶段；如果数据包需要编码，则使用多播功能将数据包复制成s+c个数据包，这些复制的数据包会跟不需要编码的数据包一起进入Egress阶段。Egress阶段会对需要编码的数据包进行前向纠错编码；如果数据包不需要前向纠错编码，则直接到下一个阶段；如果数据包需要前向纠错编码，则该阶段需要从寄存器中读取编码系数，通过数据包RLNC_Header编码头的字段得到编码系数的索引，根据索引读取寄存器得到编码系数，使用伽罗华域的乘法和加法运算实现编码操作，并修改数据包IP包头和UDP包头中的长度字段。在Checksum阶段需要对进行了编码的数据包重新计算校验和，修改IP包头和UDP包头中的校验和字段。在Deparser阶段将数据包按照各层包头和数据块的顺序重新打包数据包并转发。

[0068]为实现直播低延时的要求，本发明不会对所有的视频流数据包进行编码，而是主播端使用已有的网络监测算法根据网络状态使用合适的编码比例进行编码标记，可编程交换机解析数据包包头，根据数据包中的Packet Type字段对数据包进行前向纠错编码。同时由于本方案的下行链路与传统方案的下行链路并无区别，本发明只针对上行链路即从主播端采集视频到视频流服务器解码之间进行传输记录与测试。本发明控制数据包中的数据块大小为96bit，直播数据包中的数据量为1200字节，前向纠错编码中的冗余率为60％，设置上行链路的丢包率为10％-20％来模拟网络波动与拥塞。

[0069]为证明本发明的网内前向纠错编码算法的有效性，将本发明的算法与使用主播端进行前向纠错编码、GCC经典的实时通信拥塞控制算法进行了比较。图3表示在相同的网络环境下，在直播视频流传输时使用传统算法GCC以及分别使用主播端和可编程交换机进行前向纠错编码时的丢包率。可以发现在相同网络状况下，三种算法的丢包率相差不多(不超过3％)，均在15％-17％左右，说明适当编码并没有导致网络拥塞状况变差，丢包增加。

[0070]图4表示在相同的网络环境下，在直播视频流传输时使用传统算法GCC以及分别使用主播端和可编程交换机进行前向纠错编码时的丢帧率。在主播端和可编程交换机上进行前向纠错编码的丢帧率均接近0％(不超过0.5％)，相比传统的GCC算法，丢帧率下降15％左右，说明本发明使用的前向纠错编码方法即随机线性网络编码能显著改善直播视频流中的丢包现象。传统的GCC算法在数据包发生丢失时，对应帧无法完成解码，而依赖该帧的其他帧也无法完全解码，丢失大量帧会严重影响到用户的观看体验。

[0071]表2表示在相同的网络环境下，在直播视频流传输时使用可编程交换机进行前向纠错编码时的视频帧延迟相比在主播端进行前向纠错编码时的视频帧延迟在不同累积分布降低的百分比。

[0072]表2帧延迟比较

[0073]指标平均帧延迟95百分位帧延迟99百分位帧延迟降低百分比15.86％10.20％12.87％

[0074]可以发现，可编程交换机可以通过硬件加速可以线性处理数据包，相比在主播端进行编码，平均帧延迟降低了约16％，95百分位和99百分位的帧延迟分别降低了10％和13％左右。帧延迟的降低能有效的减少视频卡顿率，提升直播观看体验质量。