什么是低延迟流媒体?全方位指南

https://www.cdnetworks.com/wos/static-resource/c2f18b7523be4561b72d94487cdf18f6/What_Is_Low_Latency_Streaming_600.webp?t=1794818808908

什么是低延迟流媒体?

低延迟流媒体是一种直播视频交付方法,它最大限度地减少事件发生与观众在屏幕上看到它之间的延迟。根据IETF RFC 9317,低延迟直播的目标是将延迟控制在10秒以下,而超低延迟流媒体的目标是将延迟控制在1秒以下。

例如,想象一下观看一场足球直播。晚上8:00进球得分,但直到晚上8:00:08你才在屏幕上看到它。你的屏幕与实际比赛之间的八秒差距被称为直播流媒体延迟。

减少这种延迟有助于使直播视频更接近实时事件。这对于体育直播、互动广播、视频会议、在线拍卖以及其他需要及时观众互动的应用尤为重要。

实现低延迟需要优化整个流媒体管道,包括视频编码、媒体处理、流媒体协议、网络交付和播放器缓冲。


直播流媒体中什么被视为低延迟?

没有适用于所有直播流媒体应用的单一延迟阈值。可接受的延迟取决于播放需要多紧密地跟随实际事件,以及观众是否需要与流进行实时互动。

RFC 9317由互联网工程任务组(IETF)发布,基于端到端延迟提供了有用的参考类别:

类别 大致端到端延迟
超低延迟流媒体 低于1秒
低延迟直播 低于10秒
非低延迟直播 10秒到几分钟

根据RFC 9317的定义,总延迟低于10秒的任何直播通常被称为低延迟(超低延迟是低于1秒的子集)。

这些是参考类别,而非通用的性能保证。流媒体提供商可能根据其技术、应用和服务要求使用不同的阈值。


为什么低延迟流媒体很重要?

直播视频越来越多地与实时互动和外部更新同时存在,包括实时聊天、社交信息流、推送通知和互动控制。当视频落后于实时信息和观众操作时,观看体验可能会在以下几个方面受到影响:

  • 信息不匹配:社交更新、通知和实时评论可能在相关事件出现在视频中之前就到达观众。观众可能在屏幕上看到事件之前就了解到某个事件或其结果。

  • 互动延迟:在互动广播中,视频延迟会扩大观众操作与相应屏幕响应之间的差距。较大的延迟会扰乱实时对话、观众参与和其他实时互动。

  • 观众播放差异:网络条件和播放器缓冲可能使观众处于同一广播的不同时间点。较低的播放延迟可以使观众更接近直播事件,尽管仅靠低延迟无法同步每个观众的播放位置。

通过缩小直播事件与播放之间的差距,低延迟流媒体创造了更具响应性的体验,并帮助观众在正确的时刻与直播内容互动。


延迟在直播流媒体管道的哪些环节产生?

直播流媒体延迟并非来自单一来源。当视频被捕获、编码、传输、处理并在观众屏幕上播放时,延迟会在整个交付管道中累积。每个阶段对于交付直播视频都是必不可少的,但也会引入延迟。

为了理解延迟在哪里发生,检查典型直播工作流的五个主要阶段会有所帮助:

  1. 视频捕获:摄像头和麦克风捕获直播事件,并将光和声音转换为数字音频和视频信号。这是流媒体管道的起点。帧捕获、硬件处理和同步都可能在捕获的媒体可用于下一阶段(编码)之前引入少量初始延迟。

  2. 编码和压缩:一旦捕获,原始视频必须被压缩,才能通过互联网高效传输。编码器使用H.264或HEVC等编解码器执行此过程。编码需要时间,并可能引入延迟。帧重排序和GOP结构等设置会进一步影响处理时间和编码帧可用于交付的时间。

  3. 推流和第一英里传输:编码后,编码流从广播公司的编码器传输到媒体服务器或流媒体平台,进行进一步处理和分发。交付过程可能因物理距离、网络拥塞和数据包丢失而延迟。当发生数据包丢失时,重传或其他恢复机制可能增加进一步的延迟。

  4. 转码、打包和CDN分发:一旦编码流到达流媒体平台,它可能会被转码为多种分辨率和码率,以支持自适应码率(ABR)播放。转码后,平台将视频打包成交付格式,例如HTTP直播流(HLS)或基于HTTP的动态自适应流(DASH),然后通过内容分发网络(CDN)进行分发。在打包和分发过程中,传统的基于分段的流媒体中,服务器通常需要生成并使整个媒体分段可用,播放器才能获取它,这增加了直播流媒体的延迟。

  5. 播放器缓冲和解码:CDN分发后,流到达观众的媒体播放器,播放器在播放前和播放期间缓冲一部分视频。然后播放器将压缩媒体解码为可播放的音频和视频,此处理可能引入额外延迟,尤其是在处理能力有限的设备上。缓冲有助于在网络波动期间保持流畅播放,但更大的缓冲区也会扩大播放位置与直播事件之间的差距,从而增加直播延迟。

总体而言,当视频经过这五个阶段时,延迟会累积,每个阶段的延迟量取决于流媒体架构、交付协议和系统配置。在传统的基于分段的流媒体中,打包和播放器缓冲可能是端到端直播延迟的特别重要因素。


如何测量流媒体延迟?

端到端延迟(玻璃到玻璃延迟)是测量直播流媒体延迟的主要指标。它测量现实世界中事件发生与相应视频出现在观众屏幕上之间的时间。

该测量涵盖整个流媒体过程,包括媒体处理、网络交付、缓冲、解码和显示。

为了准确评估直播流媒体性能,重要的是将端到端延迟与其他常被混淆的指标区分开来:

  • 网络延迟是指数据在网络上从一点传输到另一点所需的时间。它仅反映网络传输延迟,不包括视频编码、打包或播放缓冲引起的延迟。

  • 往返时间(RTT) 测量数据包到达目的地并返回响应所需的时间。尽管它对于评估网络响应性很有用,但RTT并不能捕获直播流的完整端到端延迟。

  • 启动延迟,或首帧时间,测量从点击“播放”到看到第一个视频帧之间的时间。流可能几乎立即开始播放,但仍比实际直播事件落后30秒。

这些指标有助于诊断流媒体过程的各个部分,但端到端延迟显示了播放落后于实际事件的程度。


何时使用低延迟流媒体

不同的直播应用有不同的延迟要求。目标取决于播放需要多紧密地跟随事件,以及用户需要多快地与内容互动。

  • 体育和直播活动:体育比赛、音乐会和突发新闻通常受益于低延迟交付,目标为10秒以下。当观众关注实时评论、比分更新或其他同步内容时,可能需要更短的延迟。

  • 直播电商和拍卖:互动购物流和直播拍卖需要及时的视频交付,以便观众能够对变化的报价、产品演示和竞价活动做出响应。拍卖和对时间敏感的交易可能比传统购物广播需要低得多的延迟。

  • 互动创作者流和云游戏:Twitch和YouTube Live等平台上的创作者广播通常受益于低延迟交付,以支持观众参与。云游戏有更严格的要求,通常追求亚秒级响应,因为玩家输入必须被处理并反映在更新的视频帧中。

  • 视频会议和实时视频会话:虚拟会议、远程协作和多嘉宾讨论需要超低延迟,理想情况下低于1秒,以支持自然的双向通信。

相比之下,对实时互动需求很少的单向直播频道可以容忍10秒或更长的延迟。在这些情况下,更大的播放缓冲区可以提高稳定性,而不会显著影响预期体验。


哪些协议支持低延迟流媒体?

多种流媒体技术支持低延迟直播交付,但它们通过不同的方法实现这一目标。

WebRTC使用实时通信模型,而低延迟HLS(LL-HLS)和低延迟DASH(LL-DASH)通过在完整分段完成之前逐步提供媒体,减少了传统基于HTTP的交付的延迟。

WebRTC:实时媒体交付

Web实时通信(WebRTC)支持浏览器和其他受支持设备之间的实时音频和视频通信。

与传统基于HTTP分段的流媒体不同,WebRTC使用基于RTP的媒体传输来连续发送音频和视频,而无需等待完整的媒体分段。在适当配置的部署中,这种架构可以支持亚秒级的端到端延迟。

LL-HLS:大规模低延迟流媒体

低延迟HLS是苹果HTTP直播流协议的扩展。

传统HLS通常在视频分段生成后才使其可用。LL-HLS通过将分段划分为称为部分分段(Partial Segments或Parts)的更小单元来减少这种等待时间,这些单元可以逐步变得可用。

根据苹果的低延迟HLS文档,LL-HLS引入了多种机制来提高交付效率:

  • 部分分段:允许播放器在完整的父分段可用之前访问较小的视频部分。
  • 预加载提示:允许播放器提前请求即将到来的媒体资源。
  • 阻塞式播放列表重载:让客户端等待相关的播放列表更新,而不是反复轮询更改。
  • 播放列表增量更新:减少更新期间传输的播放列表信息量。

由于LL-HLS基于HTTP分发构建,它可以利用现有CDN基础设施进行大规模直播交付。

LL-DASH:低延迟自适应流媒体

低延迟DASH通过允许在完整分段可用之前交付媒体来扩展DASH。LL-DASH通常使用通用媒体应用格式(CMAF)将媒体分段组织成更小的块,以实现渐进式交付。通过HTTP分块传输,播放器可以通过单个请求逐步接收多个CMAF块,而不是单独请求每个块。渐进式块交付减少了启动和传输延迟,同时保留了基于HTTP交付基础设施的可扩展自适应流媒体。

WebRTC vs. LL-HLS vs. LL-DASH:延迟和用例

协议 典型延迟特征 最适合
WebRTC 亚秒级 实时互动通信
LL-HLS 几秒 大规模HTTP/CDN交付
LL-DASH 几秒 基于标准的自适应交付

实际延迟因编码设置、网络条件、服务器和播放器配置以及部署架构而异。表中的延迟描述表示常见的目标特征,而非保证的性能。


如何降低直播流媒体中的延迟

降低直播流媒体延迟需要优化整个交付管道,从视频编码到播放。

仅提高网络速度是不够的。延迟会在编码、媒体打包、网络交付和播放缓冲期间累积。每个阶段都需要优化,以在不牺牲播放稳定性的情况下使视频更接近直播事件。

1. 设定延迟目标并识别瓶颈

首先根据应用需求定义端到端延迟目标。

体育直播可以容忍几秒的延迟,而视频会议和互动流媒体需要快得多的交付。定义端到端延迟目标以建立清晰的性能目标。

接下来,测量流媒体管道以确定延迟在哪里累积。

检查编码、推流、转码、打包、网络分发和播放器缓冲。将每个阶段观察到的延迟与目标进行比较,以确定优化工作的优先级。
跟踪一段时间内的性能,而不是依赖单次测量。

2. 优化视频编码和处理

在可用的情况下使用编码器的低延迟模式。尽量减少需要在输出前保持帧的编码功能,例如过多的前瞻和B帧重排序。

GOP(图像组)结构也会影响延迟。较短的GOP间隔使关键帧更靠近,为打包器提供更频繁的机会来创建分段边界。它们还减少了播放器在加入直播流或切换码率时等待关键帧的时间。然而,较短的GOP会增加码率和交付成本,因此设置应平衡延迟和压缩效率。

对于使用转码的工作流,避免不必要的处理步骤,并针对所需的延迟和播放质量优化转码配置文件。

目标是在不引入不可接受的质量损失或带宽成本的情况下,最大限度地减少处理延迟。

3. 选择正确的流媒体协议并减少打包延迟

根据所需的延迟选择推流和交付技术。

对于第一英里推流,SRT和使用WHIP的基于WebRTC的推流可以帮助在不可预测的网络上以低延迟交付直播信号。

对于最后一英里交付,WebRTC适合需要亚秒级通信的互动应用,而LL-HLS和LL-DASH通过基于HTTP的基础设施和CDN支持可扩展交付。

打包配置也会影响媒体可供播放器使用的速度。根据所需的延迟和观众规模选择协议,以避免引入不必要的传输或交付开销。

LL-HLS使用部分分段,而LL-DASH使用CMAF块在完整分段准备好之前交付媒体。

适当的分段和块持续时间可以进一步减少等待时间。

4. 优化CDN交付和网络路由

网络拥塞、低效路由和过载的交付PoP可能会增加延迟,尤其是在大规模广播期间。

直播流媒体CDN帮助通过更靠近观众的边缘基础设施分发视频,减少对单一集中式源站的依赖。

优化的路由、合适的ISP连接性和流量分布也有助于提高交付性能。

然而,仅靠CDN邻近性并不能保证低端到端延迟。

对于LL-HLS和LL-DASH,CDN必须支持部分媒体和CMAF块的及时交付,而不会不必要地缓冲它们直到完整分段可用。

对于WebRTC,分发架构必须支持高效的实时媒体传输,并为预期观众提供足够的容量。

5. 优化播放器缓冲和播放

播放缓冲是直播流媒体延迟的关键因素。

更大的播放器缓冲区有助于在网络波动期间保持流畅播放,但它也会增加直播事件与观众所见之间的延迟。

配置适当的直播边缘目标,并在可能的情况下减少不必要的缓冲。

一些媒体播放器还支持播放速率调整,这可以帮助它们在落后时赶上。

避免过度降低缓冲区,因为这可能导致频繁重新缓冲。目标是平衡低延迟与播放稳定性。

目标是在保持稳定观看体验的同时实现所需的延迟。


CDNetworks如何实现低延迟流媒体

CDNetworks提供基于WebRTC的低延时直播,旨在支持大规模的互动直播视频交付。

通过将WebRTC交付与其全球边缘网络相结合,该解决方案支持低于500毫秒的端到端延迟,并可扩展至超过100万并发观众。

Full-Stack-Low-Latency-Streaming-Architecture.jpg

CDNetworks支持两种主要的推流到播放工作流:

  • RTMP推流到WebRTC播放:广播公司可以继续使用现有的RTMP编码器,如OBS或FFmpeg,而无需更改当前的流媒体工作流。由于RTMP流通常使用AAC音频,而WebRTC播放需要Opus,CDNetworks在云端将AAC音频转换为Opus,然后通过WebRTC交付流。

  • 端到端WebRTC(WHIP和WHEP):对于更直接的WebRTC工作流,广播公司可以使用WHIP(WebRTC-HTTP推流协议)发布流,而观众通过兼容WHEP的播放器或CDNetworks的轻量级HTML5播放器访问。

CDNetworks还支持基于云的实时转码,为不同设备和网络条件生成多种分辨率和码率。AI驱动的压缩有助于在较低码率下保持视频质量,减少带宽消耗。协议优化进一步减少首帧渲染时间,并提高弱网条件下的播放稳定性,帮助提供更流畅的观看体验。


低延迟流媒体常见问题解答

更低的延迟对直播来说总是更好吗?

降低延迟并不总是对直播有益。较小的播放缓冲区吸收网络波动的时间更少,可能会增加重新缓冲或播放中断。正确的延迟目标取决于应用所需的互动程度。

CDN能帮助降低直播流媒体延迟吗?

CDN可以通过从靠近观众的边缘位置提供媒体并通过优化的网络路径路由媒体来降低直播流媒体延迟。捕获、编码、转码和播放器缓冲也会在视频到达屏幕之前增加时间。

什么是端到端延迟?

端到端延迟测量现实世界事件与相应视频出现在观众屏幕上的时刻之间的时间。端到端延迟包括捕获、编码、交付、缓冲和解码。

如何以低延迟进行流媒体传输?

低延迟直播需要适合应用延迟要求的交付协议。WebRTC支持亚秒级互动,而LL-HLS和LL-DASH减少了基于HTTP交付的延迟。编码、打包、播放缓冲和CDN交付也会影响端到端延迟。

探索更多

云安全

Java4Shell(CVE-2026-114938):CDNetworks WAF 防护已上线

了解 Java4Shell(CVE-2026-114938),这一影响 OpenJDK 的高危内存损坏漏洞。CDNetworks 已为客户提供相应的安全防护措施。

了解更多 »
其他

2026 年5家亚马逊CloudFront的替代CDN对比

探索 2026 年 CloudFront 的五种替代方案,比较其性能、中国大陆交付、安全性、定价和迁移注意事项。

了解更多 »