diff --git a/bachelor-thesis.pdf b/bachelor-thesis.pdf index 624e451..63e94dc 100644 Binary files a/bachelor-thesis.pdf and b/bachelor-thesis.pdf differ diff --git a/data/chap01.tex b/data/chap01.tex index d4e1487..4531133 100644 --- a/data/chap01.tex +++ b/data/chap01.tex @@ -5,9 +5,11 @@ \section{研究背景} -云网络（Cloud Networking）是一种新型的网络部署与管理架构。云网络服务商通过预先在全球各地部署服务器与网络资源并对其虚拟化，允许其他软件服务的服务商可以通过租用这些计算和网络资源并将他们进行互联，组建适用于自身业务需求的遍布全球的云网络。基于云网络提供的网络资源如专线及公网链路及计算资源如虚拟机，可以将这些链路和虚拟机组成逻辑上互联的覆盖网络（Overlay Network）。覆盖网络的各个组件如转发节点、互联链路都由对应的云网络资源抽象而来，对其扩展或重新配置时只需要进行软件设置，而不需要对网络设备硬件进行更改，其易于配置、易于扩展等众多优点使得它被广泛应用于文件传输、实时音视频通话、企业资源管理等多种服务中。 +覆盖网络（Overlay Network）是一种建立在底层物理网络之上的逻辑网络。随着云计算和跨地域互联网服务的发展，服务商在构建覆盖网络时通常不再由自己建设底层基础设施，而是租用云服务商在全球多个地区提供的服务器、网关和链路等计算与网络资源，并将这些资源抽象为可按需配置的转发节点和逻辑链路构成覆盖网络，从而为文件传输、实时音视频通信、企业资源访问等业务提供跨地域连接能力。与直接修改底层网络设备相比，覆盖网络的路径选择、节点扩展和链路调整主要通过软件配置完成，因而具有部署灵活、扩展方便和易于集中管理等特点。 -位于全球不同地区的两个覆盖网络用户可以利用覆盖网络建立连接。如图\ref{fig:云网络转发拓扑}，建立连接的用户各自选择距离自己最近的接入网管接入覆盖网络，发送端的数据经由云网关进入云网络进行转发，再从接收端用户接入的云网关发至接收端用户。 +% 云网络（Cloud Networking）是一种新型的网络部署与管理架构。云网络服务商通过预先在全球各地部署服务器与网络资源并对其虚拟化，允许其他软件服务的服务商可以通过租用这些计算和网络资源并将他们进行互联，组建适用于自身业务需求的遍布全球的云网络。基于云网络提供的网络资源如专线及公网链路及计算资源如虚拟机，可以将这些链路和虚拟机组成逻辑上互联的覆盖网络（Overlay Network）。覆盖网络的各个组件如转发节点、互联链路都由对应的云网络资源抽象而来，对其扩展或重新配置时只需要进行软件设置，而不需要对网络设备硬件进行更改，其易于配置、易于扩展等众多优点使得它被广泛应用于文件传输、实时音视频通话、企业资源管理等多种服务中。 + +位于全球不同地区的两个覆盖网络用户可以利用覆盖网络建立连接。如图~\ref{fig:云网络转发拓扑}，建立连接的用户各自选择距离自己最近的接入网管接入覆盖网络，发送端的数据经由云网关进入云网络进行转发，再从接收端用户接入的云网关发至接收端用户。 \begin{figure}[H] \centering @@ -44,7 +46,7 @@ \nomenclature{FEC}{前向纠错编码（Forward Error Correction）} -本文作者实现了基于本文提出的分段链路质量优化方法的分布式覆盖网络转发以及针对低质量链路的冗余包计算及丢包恢复算法。经过对真实网络的模拟实验，本文提出的方法相比直接使用公网链路将端到端带宽提升了最高260\%。 +本文实现了基于本文提出的分段链路质量优化方法的分布式覆盖网络转发以及针对低质量链路的冗余包计算及丢包恢复算法。经过对真实网络的模拟实验，本文提出的方法相比直接使用公网链路将端到端带宽提升了最高\SI{260}{\percent}。 总结而言，本文主要的贡献是： \begin{itemize} @@ -57,14 +59,14 @@ 本文共分为六章，各章内容安排如下： -第\ref{chap:引言}章为引言。本章介绍跨域云网络中覆盖网络传输的应用背景，分析专线链路成本高、公网链路质量不稳定所带来的矛盾，概述现有链路调度与冗余编码方法的不足，并给出本文的研究思路与主要贡献。 +第~\ref{chap:引言} 章为引言。本章介绍跨域云网络中覆盖网络传输的应用背景，分析专线链路成本高、公网链路质量不稳定所带来的矛盾，概述现有链路调度与冗余编码方法的不足，并给出本文的研究思路与主要贡献。 -第\ref{chap:背景介绍与研究动机}章为背景介绍与研究动机。本章介绍云网络、覆盖网络以及前向纠错编码等必要背景，结合真实测量结果分析现有方法在跨域公网链路场景下的局限，指出低质量公网链路不应仅被规避，而应结合覆盖网络的分段转发能力进行针对性质量修复。 +第~\ref{chap:背景介绍与研究动机} 章为背景介绍与研究动机。本章介绍云网络、覆盖网络以及前向纠错编码等必要背景，结合真实测量结果分析现有方法在跨域公网链路场景下的局限，指出低质量公网链路不应仅被规避，而应结合覆盖网络的分段转发能力进行针对性质量修复。 -第\ref{chap:相关工作}章为相关工作。本章分别介绍覆盖网络与隧道技术、链路质量优化方法以及软件定义网络与网络调度相关研究，并分析这些工作与本文研究问题之间的联系和差异。 +第~\ref{chap:相关工作} 章为相关工作。本章分别介绍覆盖网络与隧道技术、链路质量优化方法以及软件定义网络与网络调度相关研究，并分析这些工作与本文研究问题之间的联系和差异。 -第\ref{chap:跨域云网络传输性能提升研究}章为跨域云网络传输性能提升方法。本章介绍本文提出的全公网链路优化系统，包括系统总体架构、交织XOR前向纠错编码设计、基于丢包统计的自适应参数调整方法，以及用于平滑解码端突发输出的速率控制机制。 +第~\ref{chap:跨域云网络传输性能提升研究} 章为跨域云网络传输性能提升方法。本章介绍本文提出的全公网链路优化系统，包括系统总体架构、交织XOR前向纠错编码设计、基于丢包统计的自适应参数调整方法，以及用于平滑解码端突发输出的速率控制机制。 -第\ref{chap:实验验证与分析}章为实验验证与分析。本章介绍实验环境与实验设置，通过在模拟低质量链路条件下对比直接转发方案和本文方法的端到端吞吐性能，验证本文提出的分段链路质量修复方法的有效性。 +第~\ref{chap:实验验证与分析} 章为实验验证与分析。本章介绍实验环境与实验设置，通过在模拟低质量链路条件下对比直接转发方案和本文方法的端到端吞吐性能，验证本文提出的分段链路质量修复方法的有效性。 -第\ref{chap:结论与展望}章为结论与展望。本章总结全文的主要工作与实验结论，并讨论本文方法仍存在的不足以及未来可进一步优化的方向。 +第~\ref{chap:结论与展望} 章为结论与展望。本章总结全文的主要工作与实验结论，并讨论本文方法仍存在的不足以及未来可进一步优化的方向。 diff --git a/data/chap02.tex b/data/chap02.tex index b83e578..72717b0 100644 --- a/data/chap02.tex +++ b/data/chap02.tex @@ -3,18 +3,14 @@ \chapter{背景介绍与研究动机} \label{chap:背景介绍与研究动机} -本章首先在\ref{sec:背景介绍}节中介绍云网络、覆盖网络和网络编码的基本信息，介绍在维持高质量服务前提下进行成本优化这一核心问题。之后在\ref{sec:实验观察与已有工作不足}节介绍一些本文作者对云网络的观察发现及已有工作在这些新观察下暴露出的不足。最后，在\ref{sec:basic idea}节介绍本文提出的通过对云网络公网进行分段质量修复的基本思路及面临的挑战。 +本章首先在~\ref{sec:背景介绍} 节中介绍覆盖网络和网络编码的基本信息，介绍在维持高服务质量前提下进行成本优化这一核心问题。之后在~\ref{sec:实验观察与已有工作不足} 节介绍已有工作在实际场景下的不足。最后，在~\ref{sec:basic idea} 节介绍本文提出的通过对云网络公网进行分段质量修复的基本思路及面临的挑战。 \section{背景介绍} \label{sec:背景介绍} -\subsection{云网络与覆盖网络} +\subsection{覆盖网络} -云网络的核心思想是服务商将计算和网络基础设施作为一种服务进行售卖（Infrastructure as a Service, IaaS）的新型计算范式\cite{azodolmolky2013cloudnetworking}。它的核心思想是云网络的服务商出资搭建数据中心、购买网络网络资源将数据中心内的计算、存储等单元连接互联网，其他服务提供商或者个人用户可按需要购买云服务商中提供的资源，并通过互联网访问。与传统的网络依赖与本地硬件进行部署不同，云网络通过虚拟机、虚拟路由器、虚拟交换机、负载均衡、虚拟防火墙等多种技术将已有的物理网络和计算资源抽象为虚拟化的计算资源，提供给不同的用户进行访问。通过网络虚拟化技术，云网络同时减少了计算资源的提供商与用户的成本，因为云网络的虚拟化特性使得资源可以按需用户需求动态分配与计费，用户只会为自己真正使用的资源付费，而云服务商可以通过对虚拟资源在硬件上的整合避免资源分配后的浪费，高效地满足所有用户的资源需求，降低运营成本\cite{luong2017cloudnetworksurvey}。 - -% 在云网络模型下，用户所能访问的几乎所有资源如计算资源、存储资源以及网络互联资源都是虚拟资源而非物理资源。在云网络中，云服务器、云存储等实例可能分布在不同的物理节点上，所有的资源都需要通过高质量的网络进行互联，因此高性能的虚拟网络是云网络的基础\cite{mogul2012cloudnetworkperf}。 - -覆盖网络（Overlay Network）是一种广泛应用于云网络结构的网络虚拟化设计，它基于物理的底层网络（Underlay Network）上通过对资源的逻辑整合而形成的逻辑网络。如图\ref{fig:overlay网络示意}，覆盖网络在已有的硬件网络上构建一个虚拟的网络层，使得使用云网络服务的企业和用户可以获得更灵活与稳定的虚拟网络连接。近年来，企业对虚拟化和云网络的需求不断增长，因而将分布在全球各地的云资源进行互联的需求也不断提升。不同的云资源所处的基础设施可能出现异构的情况，使用覆盖网络可以有效地将这些区别隐藏在相同的虚拟网络层抽象之后，极大地简化了部署和配置网络的成本。 +覆盖网络（Overlay Network）是一种已经获得广泛应用的网络虚拟化设计，它是基于物理的底层网络（Underlay Network）上通过对资源的逻辑整合而形成的逻辑网络。如图~\ref{fig:overlay网络示意}，覆盖网络在已有的硬件网络上构建一个虚拟的网络层，使得使用覆盖网络服务的企业和用户可以获得更灵活与稳定的虚拟网络连接。近年来，企业对虚拟化和云网络的需求不断增长，因而将分布在全球各地的云资源进行互联的需求也不断提升。企业构建覆盖网络以承载业务时，通常不选择自己搭建基础设施，而是选择向云服务商按需租用计算和网络资源，并利用这些云网络资源组成覆盖网络。 \begin{figure}[H] \centering @@ -23,7 +19,9 @@ \label{fig:overlay网络示意} \end{figure} -在跨地域云网络场景中，不同节点之间通常存在多条物理连接路径，这些物理链路具有不同的链路质量和不同的链路价格及计费方式。例如，许多云服务商同时提供公网链路互联与专线链路互联\cite{azure_bandwidthcost,gcp_bandwidthcost}。其中，专线链路通常具有更稳定的传输性能、更低的丢包率与时延，但部署成本与使用成本较高；而公网链路虽然成本较低，却容易受到网络拥塞、跨域路由波动等因素影响，出现高丢包、时延抖动等问题\cite{kataria2024titan}。与此同时，链路质量与网络负载往往还会随着时间动态变化，使得不同链路在不同时间段内呈现出不同的性能特征。随着云计算与实时互联网应用的发展，现代云网络中的跨域流量规模持续增长，用户对于传输质量与服务稳定性的要求也不断提高。传统的覆盖网络服务商为了为用户提供高质量的传输服务，确保能为用户持续稳定提供低延迟、高带宽、低丢包的转发路径，选择尽可能多地使用专线链路构建覆盖网络，而这对运营成本带来了较大的压力。如何在维持网络服务质量保持高带宽、低丢包、低延迟的前提下，尽可能减少构建和运营云网络所需的成本，是各服务商关注的重点。 +在覆盖网络中，不同节点之间通常存在多条物理连接路径，这些物理链路具有不同的链路质量和不同的链路价格及计费方式。例如，许多云服务商同时提供公网链路互联与专线链路互联\cite{azure_bandwidthcost,gcp_bandwidthcost}。其中，专线链路通常具有更稳定的传输性能、更低的丢包率与时延，但部署成本与使用成本较高；而公网链路虽然成本较低，却容易受到网络拥塞、跨域路由波动等因素影响，出现高丢包、时延抖动等问题\cite{kataria2024titan}。与此同时，链路质量与网络负载往往还会随着时间动态变化，使得不同链路在不同时间段内呈现出不同的性能特征。 + +随着云计算与实时互联网应用的发展，现代云网络中的跨域流量规模持续增长，用户对于传输质量与服务稳定性的要求也不断提高。传统的覆盖网络服务商为了为用户提供高质量的传输服务，确保能为用户持续稳定提供低延迟、高带宽、低丢包的转发路径，选择尽可能多地使用专线链路构建覆盖网络，而这对运营成本带来了较大的压力。如何在维持网络服务质量保持高带宽、低丢包、低延迟的前提下，尽可能减少构建和运营云网络所需的成本，是各服务商关注的重点。 一些工作意识到了公网链路与专线链路在经常存在定价差异，因而尝试在维持覆盖网络服务质量的前提下，利用覆盖网络易于实时配置的特性，将部分流量转移至质量优秀的公网链路上，以减少专线链路的压力\cite{kataria2024titan,wu2023xron}。这些工作在公网链路质量较好时，利用低价的公网链路为部分用户提供服务，降低了高价专线需要承载的流量，从而在服务流量总量不变的情况下，降低了高价流量的占比，进而降低了链路部署的总成本。 @@ -44,7 +42,7 @@ \item \textbf{公网链路质量下降与用户流量高峰重合，基于公网分流的调度方法难以削减专线峰值成本。} \end{enumerate} -已有的链路调度类工作没有考虑到公网链路质量下降的时间段与用户流量高峰有明显的相关性，公网链路的实际分流能力有限。如图\ref{fig:用户高峰与公网劣化重合}，在某企业的某条公网连接中，用户流量带宽提升的时段与丢包率提升、延迟波动的时段有较强的相关性，只在公网丢包低、延迟稳定的时段使用公网链路只能削减专线上承载的一小部分流量。进一步地，由于用户流量带宽较大的时段公网持续恶化，这些方法也不能利用公网链路削减专线需要承载的峰值带宽，使得专线链路仍然在传输流量时起主导作用，链路使用成本的削减程度有限。另外，专线链路的价格通常以峰值带宽定价而不能以传输数据量计费，当前公网分流策略不能降低专线链路的使用成本。这是因为与公网链路通常可以灵活选用按量付费与按峰值带宽付费不同，专线链路通常只能按一段时间内的峰值带宽或95分位带宽付费\cite{aliyun_bandwidthcost,tencent_bandwidthcost}，这些方法不能有效地削减专线上承载的峰值带宽就意味着专线的使用成本不会由于公网的部分分流而显著降低。因此，这些工作对链路使用成本的削减十分有限，甚至可能由于专线链路成本没有明显下降，反而由于额外使用公网链路而导致链路使用成本增加。 +已有的链路调度类工作没有考虑到公网链路质量下降的时间段与用户流量高峰有明显的相关性，公网链路的实际分流能力有限。如图~\ref{fig:用户高峰与公网劣化重合}，在某企业的某条公网连接中，用户流量带宽提升的时段与丢包率提升、延迟波动的时段有较强的相关性，只在公网丢包低、延迟稳定的时段使用公网链路只能削减专线上承载的一小部分流量。进一步地，由于用户流量带宽较大的时段公网持续恶化，这些方法也不能利用公网链路削减专线需要承载的峰值带宽，使得专线链路仍然在传输流量时起主导作用，链路使用成本的削减程度有限。另外，与公网链路通常可以灵活选用按量付费与按峰值带宽付费不同，专线链路通常只能按一段时间内的峰值带宽或95分位带宽付费\cite{aliyun_bandwidthcost,tencent_bandwidthcost}，这些方法不能有效地削减专线上承载的峰值带宽就意味着专线的使用成本不会由于公网的部分分流而显著降低。因此，这些工作对链路使用成本的削减十分有限，甚至可能由于专线链路成本没有明显下降，反而由于额外使用公网链路而导致链路使用成本增加。 \begin{figure}[H] \centering \includegraphics[width=\linewidth]{hongkong-jinan-withbd.pdf} @@ -57,9 +55,10 @@ \end{enumerate} 云服务商只对专线链路的质量提供服务质量保证（Service level agreement, SLA），而对公网的具体性能没有任何形式的保证。尽管服务商不对公网的性能做出任何保证，所有的公网链路在所有的时间段质量都劣于专线链路。如图\ref{fig:公网片段热力图}所示，部分公网链路有着较低的平均丢包率，质量几乎与专线相当，而只有部分链路，特别是跨域链路的丢包率较高，链路质量较差，与低丢包的专线有较大差距。覆盖网络对用户流量进行转发时，通常将多个不同的网络片段相连组成连接两侧接入网关的路径。由于覆盖网络的内部转发机制通常对端到端的传输透明，两端的客户端只能感知到由多个链路的丢包级联而成的最终丢包率，只要组成转发路径的链路中包含了至少一条丢包率较高的跨域公网链路，端到端感知到的丢包率就会明显上升。这导致在跨域连接的场景下，网络编码类工作只能以感知到的高丢包率对在整个路径上转发的包加入大量的冗余，造成了较大的带宽浪费，造成链路使用成本上升。 +例如，一条端到端的连接可能分别由AB、BC、CD三段链路组成，其中三段链路的丢包率分别为$0, 0.2, 0$, 如果使用端到端的冗余，为了应对其中一条高丢包链路带来的丢包，必须在整条链路上加入额外约\SI{20}{\percent}的冗余，导致在从A发往D的流量中，AB、BC两段都承载了相比有效数据多\SI{20}{\percent}的数据量。在这种场景下，AB段网络本身质量优秀，但是却由于后段质量较差的网络呃额外承载了流量，导致了链路使用成本上升。 \begin{figure}[H] \centering - \includegraphics[width=\linewidth]{loss_avg_heatmap.pdf} + \includegraphics[width=.8\linewidth]{loss_avg_heatmap.pdf} \caption{不同公网链路连续七天内平均丢包率热力图} \label{fig:公网片段热力图} \end{figure} diff --git a/data/chap03.tex b/data/chap03.tex index 5b04026..7034698 100644 --- a/data/chap03.tex +++ b/data/chap03.tex @@ -3,15 +3,21 @@ \chapter{相关工作} \label{chap:相关工作} -本章主要介绍一些与本文工作相关的已有工作。\ref{sec:隧道技术介绍}节主要介绍了当前在工业界得到较为广泛使用的用于构建覆盖网络的几种隧道技术，\ref{sec:链路质量优化相关工作}节介绍了多种常用于进行网络编码的前项纠错编码技术，并比较了他们的异同。最后，\ref{sec:SDN相关工作}介绍了与覆盖网络紧密联系的软件定义网络（Software defined network, SDN）的概念，以及与其相关的一些工作。 +本章主要介绍一些与本文工作相关的已有工作。\ref{sec:隧道技术介绍} 节主要介绍了当前在工业界得到较为广泛使用的用于构建覆盖网络的几种隧道技术，\ref{sec:链路质量优化相关工作} 节介绍了多种常用于进行网络编码的前项纠错编码技术，并比较了他们的异同。最后，\ref{sec:SDN相关工作} 节介绍了与覆盖网络紧密联系的软件定义网络（Software defined network, SDN）的概念，以及与其相关的一些工作。 -\section{覆盖网络与隧道技术} +\section{云网络、覆盖网络与隧道技术} \label{sec:隧道技术介绍} +云网络是服务商将计算和网络基础设施作为一种服务进行售卖（Infrastructure as a Service, IaaS）的新型计算范式\cite{azodolmolky2013cloudnetworking}。它的核心思想是云网络的服务商出资搭建数据中心、购买网络网络资源将数据中心内的计算、存储等单元连接互联网并将这些资源出租，其他服务提供商或者个人用户可按需要购买云服务商中提供的资源，并通过互联网访问。与传统的网络依赖与本地硬件进行部署不同，云网络通过虚拟机、虚拟路由器、虚拟交换机、负载均衡、虚拟防火墙等多种技术将已有的物理网络和计算资源抽象为虚拟化的计算资源，提供给不同的用户进行访问。通过网络虚拟化技术，云网络同时减少了计算资源的提供商与用户的成本，云网络的虚拟化特性使得资源可以按需用户需求动态分配与计费，用户只需为自己真正使用的资源付费，同时云服务商可以通过对虚拟资源在硬件上的整合避免资源分配后的浪费，高效地满足所有用户的资源需求，降低运营成本\cite{luong2017cloudnetworksurvey}。 + +在上述云网络资源基础上构建覆盖网络，已经成为当前企业与网络服务商进行跨地域业务部署的常见运营策略。对于需要连接多地域用户、数据中心或云上服务的企业而言，直接自建全球范围内的物理网络基础设施不仅部署周期长，而且需要承担较高的建设和维护成本。相比之下，企业可以按需租用云服务商在不同地域提供的虚拟机、网关以及公网或专线链路，将这些分散的云网络资源抽象为覆盖网络中的转发节点与逻辑链路，并通过软件方式完成路径配置、节点扩展和链路调整。由此，覆盖网络既继承了云网络按需部署和弹性扩展的优势，也为后续根据链路质量与成本进行灵活调度提供了基础。然而，要在已有的底层IP网络之上形成彼此隔离、可配置且对上层业务透明的逻辑网络，仅依赖云资源本身并不足够，还需要相应的封装与转发机制。 + 覆盖网络的实现依赖于隧道封装技术，其基本原理是将原始的二层或三层报文封装在另一种网络协议中进行传输，从而在底层的IP网络上构建虚拟的二层网络。当前主流的Overlay隧道技术主要包括VXLAN\cite{rfc7348vxlan}、NVGRE\cite{rfc7637nvgre}和Geneve\cite{rfc8926geneve}等，它们在封装格式、协议机制和适用场景上各有特点。 VXLAN（Virtual eXtensible Local Area Network，虚拟可扩展局域网）\cite{rfc7348vxlan}是由IETF制定的虚拟网络技术之一，广泛应用于在数据中心和云网络中。VXLAN通过MAC over UDP的方式，将二层的以太网帧封装在UDP报文中通过公网传递，对虚拟的二层网络在三层网络的基础上进行扩展。VXLAN使用24比特的虚拟网络标识（VXLAN Network ID, VNI）来区分不同的虚拟以太网，可以突破传统VLAN的4096个虚拟网络数量限制，提供约1600万个各自独立的虚拟局域网。VXLAN协议将普通的二层网络数据帧添加上VXLAN的包头，之后再将数据包装上外层的以太网、IP和UDP报文头后发送至公网。VXLAN包的封装和解封装由VXLAN隧道端点（VXLAN Tunnel End Point）进行，VTEP负责将从虚拟机进入隧道的包进行封装，也负责将从隧道接收到的包进行解封装后交付给虚拟机。这使得VXLAN隧道对虚拟机透明，便于与其他网络系统集成。VXLAN利用已有的UDP传输机制在网络中建立隧道，成熟度高，当前已广泛应用于数据中心。 +\nomenclature{IETF}{互联网工程任务组（Internet Engineering Task Force）} + NVGRE（Network Virtualization using Generic Routing Encapsulation，基于路由封装的网络虚拟化）\cite{rfc7637nvgre}是另一种主要的虚拟隧道协议。该协议主要应用于微软的Hyper-V虚拟环境中\cite{microsoft_nvgre}。NVGRE将二层的MAC包封装在GRE隧道包内通过公网传递，利用GRE协议中的Key字段传递包所属的虚拟子网标识（Virtual Subnet ID, VSID）以及流标识（FlowID）。NVGRE同样以24比特标识虚拟网络的名称，因此也可以支持最多约1600万个虚拟子网。同时，NVGRE支持在同一子网内进一步通过流标识来区分不同的数据流，为更精细地管理流量和流量均衡提供了支撑。然而，这要求物理网络设备具备识别和处理这些字段的能力，对在公网部署带来了一定的挑战。 Geneve（Generic Network Virtualization Encapsulation，通用虚拟化网络封装技术）\cite{rfc8926geneve}是IETF新提出的通用网络虚拟化封装协议，旨在以单一、可扩展的封装格式取代碎片化的VXLAN、NVGRE等多种隧道协议，以维持生态统一。Geneve也采用MAC over UDP的封装，通过灵活配置的元数据传递机制满足多种网络虚拟化需求。Geneve也使用24比特的虚拟网络标识（Virtual Network Identifier, VNI）来区分不同的虚拟网络，支持的网络数量与VXLAN、NVGRE等协议相当。与VXLAN等协议不同，Geneve允许在头部后添加可变长度和数量的控制位和控制信息，可以有效满足不同虚拟网络的需求，增强了可扩展性。Geneve协议通过设计可选的元数据空间，允许在不修改协议的前提下引入新功能，自推出以来已经逐步得到各类虚拟网络平台的支持\cite{ovn_geneve,vmware_nsxt_geneve}，但是协议较为复杂，适配难度较大。 @@ -19,7 +25,11 @@ Geneve（Generic Network Virtualization Encapsulation，通用虚拟化网络封 \section{链路质量优化} \label{sec:链路质量优化相关工作} -低质量的互联网链路由于负载较大出现拥塞或部分设备运行故障，容易出现丢包或者延迟波动。在这些低质量的链路上进行传输时，即使链路还有可用的传输带宽，也会出现丢包或是延迟波动。即使TCP\cite{rfc9293tcp}等可靠传输协议通过重传确保了所有数据都能可到送达，但性能较差。这是因为TCP协议依靠超时重传来在确保所有数据都最终送达至接收端，即使使用了基于重复ACK的快速重传机制，如图\ref{fig:TCP丢包恢复缓慢}，恢复单个丢失的包也至少要经历接收端检测丢包——请求发送端重传——发送端重传包送达恢复的过程，至少需要一个往返时延（Round Trip Time, RTT）才能恢复。对于一条在云网络中的跨域链路，往返时延可能达到\SI{300}{ms}或更长，如此缓慢的丢包恢复不仅会阻塞后续数据包的发送，也会极大地影响实时媒体服务如影视直播、视频通话等应用的用户体验。 +低质量的互联网链路由于负载较大出现拥塞或部分设备运行故障时，容易出现丢包或者延迟波动。在这些低质量的链路上进行传输时，即使链路还有可用的传输带宽，也会出现丢包或是延迟波动。即使TCP\cite{rfc9293tcp}等可靠传输协议通过重传确保了所有数据都能可到送达，但性能较差。这是因为TCP协议依靠超时重传来在确保所有数据都最终送达至接收端，即使使用了基于重复ACK的快速重传机制，如图~\ref{fig:TCP丢包恢复缓慢}，恢复单个丢失的包也至少要经历接收端检测丢包——请求发送端重传——发送端重传包送达恢复的过程，至少需要一个往返时延（Round Trip Time, RTT）才能恢复。对于一条在云网络中的跨域链路，往返时延可能达到\SI{300}{ms}或更长，如此缓慢的丢包恢复不仅会阻塞后续数据包的发送，也会极大地影响实时媒体服务如影视直播、视频通话等应用的用户体验。 + +\nomenclature{TCP}{传输控制协议（Transmission Control Protocol）} +\nomenclature{ACK}{确认报文（Acknowledgement）} +\nomenclature{RTT}{往返时延（Round Trip Time）} \begin{figure}[H] \centering @@ -28,13 +38,13 @@ Geneve（Generic Network Virtualization Encapsulation，通用虚拟化网络封 \label{fig:TCP丢包恢复缓慢} \end{figure} -针对此问题，研究者们提出了多种解决方案，其中前向纠错编码（Forward Error Correction, FEC）被广泛地用于应对链路传输中的丢包。其基本思想是，在发送数据时直接加入一部分冗余信息，以确保在部分信息丢失时，接收端无需请求发送端重新传送任何信息，而可以利用已经接收到的信息配合冗余信息推算出丢失的信息。使用前向纠错编码进行丢包恢复时，与重传机制需要经历一整个往返时延的长时间反馈路径不同，利用前向纠错编码的冗余包进行恢复只需要等待后续冗余包送达后即可进行，错误恢复时间短，能更好地适应延迟敏感型应用如视频通话等应用的需求。 +针对此问题，研究者们提出了多种解决方案，其中前向纠错编码（Forward Error Correction, FEC）被广泛地用于应对链路传输中的丢包。其基本思想是，在发送数据时直接加入一部分冗余信息，以确保在部分信息丢失时，接收端无需请求发送端重新传送任何信息，而可以利用已经接收到的信息配合冗余信息推算出丢失的信息。与重传机制应对丢包需要经历一整个往返时延的长时间反馈路径不同，利用前向纠错编码的冗余包进行恢复只需要等待后续冗余包送达后即可进行，错误恢复时间短，能更好地适应延迟敏感型应用如视频通话等应用的需求。 -为了实现高效地前向纠错编码，研究者们提出了多种编码方式，它们针对不同的目标进行了设计和优化。 +为了实现高效的前向纠错编码，研究者们提出了多种编码方式，它们针对不同的目标进行了设计和优化。 \subsection{简单复制冗余} -早期的FEC工作主要通过对时间敏感的数据包进行简单地复制和多次传输进行错误恢复。如图\ref{fig:早期FEC}所示，通过将每个数据包复制多份，每次发送新的数据的同时，在同一个数据包中同时捎带发送之前已经发送过的一些数据包，这样可以在一部分数据包丢失的同时仍旧确保接收端收到了所有数据。Bolot等人\cite{bolot1999adaptivefec}基于此思路提出可以利用实时语音通话应用中已经存在的平均丢包率监控字段对传输链路的丢包模式和丢包律进行估计，从而动态地选重复发送包的发送间隔和次数，优化通话用户的用户体验。之后Gandikota等人\cite{gandikota2008multipathfec}在此基础上提出可以通过多路径传输，进一步提升冗余包和原始数据包中至少有一个送达的概率。Gandikota等人在工作中提出通过估算网络中的丢包率，动态地调整冗余参数以实现对语音流中的重要子流进行保护，同时再将编码后的数据包以及其他次要子流经过两个最大程度节点不相交路径在网络上与重要数据流分开传输，以降低数据传输丢失概率、提升用户体验。Huang等人\cite{huang2010skypefec}通过测量Skype应用在不同丢包网络条件下的行为，印证了相关冗余编码在提升实时语音通话用户体验方面的积极作用。 +早期的FEC工作主要通过对时间敏感的数据包进行简单地复制和多次传输进行错误恢复。如图~\ref{fig:早期FEC} 所示，通过将每个数据包的内容复制多份，每次发送新的数据的同时，在同一个数据包中同时捎带发送之前已经发送过的一些数据包，这样可以在一部分数据包丢失的同时仍旧确保接收端收到了所有数据。Bolot等人\cite{bolot1999adaptivefec}基于此思路提出可以利用实时语音通话应用中已经存在的平均丢包率监控字段对传输链路的丢包模式和丢包律进行估计，从而动态地选择重复发送包的发送间隔和次数，优化通话用户的用户体验。之后Gandikota等人\cite{gandikota2008multipathfec}在此基础上提出可以通过多路径传输，进一步提升冗余包和原始数据包中至少有一个送达的概率。Gandikota等人在工作中提出通过估算网络中的丢包率，动态地调整冗余参数以实现对语音流中的重要子流进行保护，同时再将编码后的数据包以及其他次要子流经过两个最大程度节点不相交路径在网络上与重要数据流分开传输，以降低数据传输丢失概率、提升用户体验。Huang等人\cite{huang2010skypefec}通过测量Skype应用在不同丢包网络条件下的行为，印证了相关冗余编码在提升实时语音通话用户体验方面的积极作用。 \begin{figure}[H] \centering diff --git a/data/chap04.tex b/data/chap04.tex index abe832f..f07d92b 100644 --- a/data/chap04.tex +++ b/data/chap04.tex @@ -107,7 +107,7 @@ FEC解码器按编码组为单位批量恢复和交付数据包。当一个编 \item \textbf{残余丢包率约束}：编码后未被恢复的随机丢包率应低于阈值，确保应用层的丢包率在可接受范围内。 \end{enumerate} -最终在所有可行的$(d, k)$组合中，选择$k$值最大的组合作为最优编码参数，以提供最强的冗余保护。上述参数调整过程构成了一个完整的反馈闭环：解码端持续检测丢包并上报统计信息，中心控制器计算最优参数并下发至编码端，编码端在下一编码组生效新参数。 +最终在所有可行的$(d, k)$组合中，选择$k$值最大的组合作为最优编码参数，在提供充足保护的前提下尽可能减少冗余带来的额外开销。上述参数调整过程构成了一个完整的反馈闭环：解码端持续检测丢包并上报统计信息，中心控制器计算最优参数并下发至编码端，编码端在下一编码组生效新参数。 \section{解码端输出速率控制设计} \label{sec:pacer} diff --git a/figures/.DS_Store b/figures/.DS_Store deleted file mode 100644 index 5008ddf..0000000 Binary files a/figures/.DS_Store and /dev/null differ diff --git a/figures/fec_copy_based.drawio b/figures/fec_copy_based.drawio index db133c1..2f408a2 100644 --- a/figures/fec_copy_based.drawio +++ b/figures/fec_copy_based.drawio @@ -1,19 +1,19 @@ - + - + - + - + - + @@ -22,16 +22,16 @@ - - + + - - + + - + - + @@ -40,13 +40,13 @@ - - + + - + - + @@ -55,19 +55,19 @@ - - + + - + - + - + - + @@ -76,10 +76,10 @@ - + - + @@ -88,19 +88,19 @@ - - + + - + - + - + - + @@ -109,10 +109,10 @@ - + - + @@ -121,19 +121,19 @@ - - + + - + - + - + - + @@ -151,8 +151,8 @@ - - + + diff --git a/figures/fec_copy_based.drawio.pdf b/figures/fec_copy_based.drawio.pdf index 27e53d8..3a57121 100644 Binary files a/figures/fec_copy_based.drawio.pdf and b/figures/fec_copy_based.drawio.pdf differ diff --git a/figures/fec_copy_based.drawio.svg b/figures/fec_copy_based.drawio.svg new file mode 100644 index 0000000..a893858 --- /dev/null +++ b/figures/fec_copy_based.drawio.svg @@ -0,0 +1,4 @@ + + + +
1
-
1
-
发送数据包
接收数据包
2
1
（丢包）
3
2
（丢包）
4
3
4
3
5
4
（丢包）
6
5
6
5
7
6
（丢包）
8
7
8
7
冗余包
 \ No newline at end of file diff --git a/figures/overlay_network_from_underlay.drawio b/figures/overlay_network_from_underlay.drawio index 139c2a0..8c9ee6f 100644 --- a/figures/overlay_network_from_underlay.drawio +++ b/figures/overlay_network_from_underlay.drawio @@ -1,11 +1,14 @@ - + - + - - + + + + + @@ -214,8 +217,8 @@ - - + + @@ -244,139 +247,114 @@ - - + + - - + + - - + + - - + + - - + + - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - + + - + - - + + - - + + - - + + - + - - + + - - + + - - + + - - + + - - + + - - + + - - + + - - + + - - + + - - + + - + - - + + - - + + - + - - + + + + + + + + + + + + + diff --git a/figures/overlay_network_from_underlay.drawio.pdf b/figures/overlay_network_from_underlay.drawio.pdf index 4345a81..4dd9936 100644 Binary files a/figures/overlay_network_from_underlay.drawio.pdf and b/figures/overlay_network_from_underlay.drawio.pdf differ diff --git a/figures/overlay_network_from_underlay.drawio.svg b/figures/overlay_network_from_underlay.drawio.svg new file mode 100644 index 0000000..df53eb8 --- /dev/null +++ b/figures/overlay_network_from_underlay.drawio.svg @@ -0,0 +1,4 @@ + + + +
跨域全球
骨干网络
数据中心A
数据中心B
数据中心C
数据中心D
物理底层网络
（Underlay Network）
虚拟覆盖网络
（Overlay Network）
VM1
VM2
VM3
逻辑链路
虚拟节点
VM4
用户
用户
抽象
 \ No newline at end of file diff --git a/thusetup.tex b/thusetup.tex index 7e08a64..499714b 100644 --- a/thusetup.tex +++ b/thusetup.tex @@ -21,7 +21,7 @@ % 标题 % 可使用“\\”命令手动控制换行 % - title = {跨国公网链路传输优化方法研究}, + title = {面向传输性能提升的跨域\\覆盖网络链路优化方法研究}, title* = {To be filled}, % % 学科门类