实时流媒体的现状2023

去年是一个转折点，组织现在更倾向于提供直播. 这是我们组织最近的一项调查得出的关键结论之一, 帮助我流媒体研究基金会, 为流媒体杂志和调查赞助商Phenix Real Time Solutions做了什么. 这项名为“实时流媒体的商业价值”的2022年末调查(go2sm.com/realtime), also found that the perceived business value of real-time streaming directly correlates to organizations with higher-than-average annual revenues and concurrent viewers.

在本文中, 我们将看到2023年几个月后的实时流媒体状态, 包括一些持有长期承诺的用例. 但在此之前, 这是实时流的基本定义, 正如调查中使用的:实时流媒体是“以每个用户不到500毫秒的速度向数十万观众同步传输设备”.”

我们将在本文的其余部分看到, 两个概念——降低玻璃杯到玻璃杯的交货时间, 从相机图像采集到终端用户观看屏幕, 以及跨多个设备的同步, 尤其是那些彼此听得见的人——是高度交织在一起的.

降低延迟的用例

在流媒体连接2023会话期间(go2sm.com/zerolatency)，一个由来自欧洲和美国的行业资深人士组成的小组.S. 讨论了实时流的几个用例. 我鼓励读者观看小组会议，但会触及一些突出的用例.

体育

当讨论低延迟流时，一个立即浮现在脑海中的用例是体育. 写这篇文章的时候，第7届超级碗刚刚在亚利桑那州的格伦代尔举行.全球约有1.3亿观众. 据估计，有700万人通过流媒体观看了这场大型比赛, 尽管凤凰网推特上的图片显示(位.ly / 3 jjnbxi)，客户有时可能会在多个设备上观看. “我们最新的#超级碗潜伏期研究出来了! 体育迷们看到了60多秒的延迟，”推特说. “什么时候#体育媒体将优先考虑#粉丝参与??? Phenix delivers video in <1/2 sec to millions around the globe; there’s no reason #SBLVII fans shouldn’t enjoy the same!”

凤凰城的推文揭示了一个假设——也许是准确的, 更有可能不是——大多数球迷希望他们的体育赛事以尽可能低的延迟送达. 然而，这个前提有两个主要缺陷. 第一个, the issue that Phenix and other “real-time solutions” attempt to address—at least based on publicly available data for its hot-off-the-press Super Bowl LVII latency report—isn’t delay as much as it is the synchronization of delivery, 在我们对实时流媒体的调查定义中提到了这一点，但在凤凰的推特中没有提到.

我将在本文后面深入研究各种同步方法, but let’s touch briefly on another aspect of the very nebulous methodology Phenix uses to claim superiority for its technology in the Super Bowl LVII report: The methodology does not actually compare the Phenix solution to over-the-air (OTA)—a baseline that would be expected for a company claiming in its tweet that it “delivers video in <1/2 sec to millions around the globe”—but rather compares streaming services against each other.

超级碗2023测量滞后实时

第二个, 最基本的事实是，现场直播的每个人都知道，像超级碗这样备受瞩目的现场直播活动实际上并不是实时转播的. “在与这些网络的工作人员交谈时, 它通常在4-10秒[范围],洛克·杜邦说, 他是丹麦TV 2的解决方案架构师, 在流媒体连接2023面板期间. “因此，即使在传统的广播网络中，也肯定存在延迟.”

在美国.S., 广播有三点延迟:插入图形, monitoring for words that cannot be spoken on broadcast television—often called the “dump button”—and the actual transmission to a tower or satellite uplink along with additional delay to the end user’s viewing device. 总的来说，这增加了大约8秒的整体玻璃到玻璃延迟.

现场活动延迟

那么，体育产业在降低延迟方面的进展如何呢? 马格努斯Svensson, Eyevinn Technology的媒体解决方案专家, 在小组会议上指出，最近欧洲和北美的体育视频会议采取了慎重的方法. “到目前为止，我在行业中听到的是，我们仍然优先考虑质量和稳定性，而不是延迟,他说. “So, 大多数观看体育赛事的观众都希望它是好的, 高品质时尚又稳定, 没有缓冲之类的.”

斯文森和杜邦指出，在公共互联网与优化视频网络之间进行传输时，两者之间存在重大权衡. “互联网, 当然, 它的设计方式与你在有线电视网络中工作的视频分发方式不同,杜邦说。. “当然, 用最好的方法, 你可以这样设计它，而不需要在某处设置几个缓冲来保证可靠性. 但当我们谈到互联网时, 在到达用户的路上有很多跳跃，这可能会延迟流.”

因为互联网的最大努力并不是集中在视频传输上, 调整以优化延迟会产生意想不到的后果. “你越能开始压缩延迟, 缓冲带来的风险越大，视频质量越低,斯文森说.

体育book

随着美国主要体育联盟的持续推动.S. 提倡在他们的赛事上下注，美国足球协会.S. 是在追随欧洲的先手，为赌场和其他迎合体育博彩的场所提供低延迟流. 传统上，体育赛事是通过卫星视频广播传送到体育博彩或赌场场馆的, 它本身具有上行链路固有的延迟, pro-cessing, 以及随后的卫星传输视频下行. 然而，延迟通常只有2秒或更少, 与传统的流媒体单播方式相比，卫星具有多播的优势，可以发送数千人可以接收的流媒体, 其中，每个流在媒体传递服务器上生成额外的负载.

说到体育博彩, 虽然, we also have to factor in the economics of lowering the latency for the overall audience compared to just a select few who do real-time sports wagering outside a casino environment. “仍然只有一小部分观众会同时进行直播投注,斯文森说. 这一事实引发了围绕流媒体分歧的讨论, 其中一小部分观众获得非常低延迟的流, 缺乏许多或所有的关键图形元素的典型广播传递. 相比之下，绝大多数观众看到的是画面密集的流媒体，尽管传输时间更长.

体育场里的经历

Svensson noted that one use case popping up more and more in discussions over the last 6 months is how to augment the in-stadium experience for fans who have paid to attend a sporting event. 他解释说，这是理想的，对于那些谁可能只有一个有利位置，在一个更长的赛马场. “你可以用手机、平板电脑或任何你带到体育场的设备作为第二设备,斯文森说, "在你的有利位置以外跟踪事件的其余部分.”

斯文森举的一个例子是越野滑雪项目, 看台上的观众看不到完整的赛马场. 一级方程式比赛甚至越野跑步赛事可能也是如此. 对于观众来说，想要跟踪他们最喜欢的赛车手是很自然的, 说, 主要的滑雪者群在运动场外比赛的森林区域. 在这种情况下, 然后, low or sub-second latency comes into play because you don’t want to be 20 or 30 seconds behind watching the second screen when you’re sitting at the race itself,斯文森说.

设置同步期望值

So do we lower the streaming latency for every viewer because of the needs of a select few watching from an in-stadium vantage point or betting in real time on the game? “这并不意味着事件的整个广播需要如此低的延迟,斯文森说, “而是为了体育场里的人们, it is actually quite an interesting use case to be able to watch the rest of the race following your skier or your driver at the same time as viewing the complete race.”

然而，即使斯文森的例子降低延迟在体育场内观看比赛, 这仍然是通过流媒体观看体育节目的一小部分观众. 这将我们带回到更大的需求:在给定位置将内容同步传送到多个设备. “我认为如果我们能将延迟时间降低到3小时左右, 4秒,斯文森说, “我们可以在看到关键比赛或事件前一分钟或更长的时间内消除推特和新闻的挫败感. 我想这就是它的归宿.”

对于普通观众, 虽然, 还有另一个问题:数据传输, 比如文本, 微博, 和图形可视化遥测数据从赛车或滑雪者, 能以低于半秒的速度完成吗. “我认为最大的挑战之一是，你不仅可以从你正在观看的视频流中获得更新, 但是很多体育项目的应用程序会把赛事推送给你, 事情发生后不久,杜邦说。. “没有人真的想要收到关于最新比分的通知，然后在视频中看到进球. 你想先看到目标，然后收到通知.”

杜邦的观点反映了“实时流媒体的商业价值”调查的受访者所做的一些评论, 其中一个回应简洁地总结了这个问题:“看到了一个关于大型游戏的直播推文，我甚至还没有看到它的设置.”

除了, 有关于降低视频延迟是否能最好地处理交互性的讨论，以及这是否可能. 杜邦说:“我们也有像《百家乐app下载》这样的例子，在那里你可以投票. “你还希望至少有一些低延迟，否则, 你有一个很长的投票期，因为你需要确保每个人在投票前都看到了所有的内容.”

不要随波逐流

同步还考虑了实时事件流的漂移，当一个动态戏剧或一系列戏剧发生时，流媒体观众的收视率上升. 在这方面, the Phenix Super Bowl LVII report gets one key point right: Almost every streaming solution has a “drift” factor in which a stream that was delayed by around 20 seconds could end up with an overall delay of more than a minute if hundreds of thousands of unicast streams have to be generated from an origin server.

超级碗2023测量观众漂移

这一点进一步巩固了同步的必要性. 为了更加强调它, 凤凰的推文附有一张图片，显示了四个设备中的三个设备的同步——包括OTA交付. 然而, 凤凰流媒体解决方案明显缺失——第四个设备如此遥远，似乎是在完全不同的游戏上.

“如果设备没有时间同步, 你可能会得到相同类型的不同设备的不同延迟,斯文森说. “我曾经去过一些体育酒吧，那里不同的电视机有不同的延迟, 在体育酒吧，当一半的人比其余的人领先5-10秒时，哪个是非常明显的.”

让我们谈谈

有时, 我们可以通过完全放弃视频来处理这种漂移，将其作为一种非常及时的信息传递方式. 有两个关键用例:拍卖和突发新闻.

在Help Me Stream基金会和拍卖公司的讨论中，我们邀请他们赞助我们对现场互动的研究, 我们经常听到，典型的流媒体视频延迟15秒或更长时间太长，无法实现充分的同步竞标. 虽然Zoom和其他网络会议解决方案可能在一个完美的世界中工作，但这是事实, 我们收到的另一个反馈与拍卖地点有关, 其中许多都是在田地里(想想牛), 农场, 或马拍卖). 像这样, 我们被告知，人们通常会做出判断，放弃视频，转而使用纯音频流.

如果网络连接严重受限, 拍卖商将退回到使用音频桥接电话, since auctioneers don’t want a disadvantage for people who are listening to the audio-only bidding versus bidders who are waiting several seconds for the video to come through at a point where the bidder feels it’s reached a particular dollar or euro level.

另一个用例是灾区, 有两件事是至关重要的:将信息传递给尽可能多的人，并通过几乎每个人都能访问的媒体传播信息. 在这种情况下，民用通信网络不太可能保持完整或始终以最佳状态运行, 反过来，这意味着以音频为中心的方法-伴随着关键数据，如天气状况, 风暴运动的可视化, 等.-为那些不愿意花时间坐在大屏幕前的潜在灾区灾民提供了一个更好的选择. This approach has the added benefit of lowering battery consumption for listeners who may need to continue to receive details of the disaster for hours on end. 从流媒体的角度来看，延迟目标应该是尽量减少无线电延迟, 多少?, 甚至比我们在娱乐节目中看到的视频延迟还要低得多, 企业, 或者教育环境.

我们将何去何从?

当前正在使用的技术, 还有一些即将到来, 提供降低延迟的潜在方法.

基于http的流

绝大多数流都是从基于http的服务器交付的, 要么是苹果的HTTP流媒体直播(HLS)，要么是行业标准DASH, 在这一点上，探索降低延迟的方法是一个很好的开始. 近年来, 有两种新的低延迟和超低延迟协议正在测试中, HLS和DASH各一个. 早期的试验集中在试图通过调整整个链上的清单和块交付来解决延迟问题, where manifests are made available as early as possible and “partial” chunks of the video are made available from the packager and sent out as soon as they are ready.

专有的解决方案

还提供了编解码器无关的媒体服务器解决方案, 尽管其中许多都是在一个闭环系统中运行的，其中播放器和媒体服务器都来自同一家公司. “也有许多专有解决方案，”杜邦说. “THEO有HESP, Softvelum有SLDP，还有其他的. 其中许多的问题在于，它们的工作方式与其他流媒体的工作方式完全不同. 所以，你必须支持编码器. 你必须支持各种各样的球员. 如果这是一个依赖于一个供应商的封闭生态系统, 它很难在标准网络上发布.”

卫星

一些卫星供应商也在努力宣传他们较低的延迟. 但其中一个潜在的问题是，有多少流量真正需要低延迟传输. 像Viasat这样的传统卫星传输提供商将其网络上需要低延迟传输的总流量固定在10%左右. 在Viasat对联邦通信委员会(FCC)的评论中, 该公司指出，“委员会已经承认，可以通过适当的网络设计来减轻延迟的影响,” adding that “the [International Telecommunication Union] has confirmed that the technical model underlying the 100 ms latency standard adopted in the [Connect America Fund] context likely overstates the impact of latency on service quality.”

新一代的卫星宽带提供商, 虽然, 他们是在说他们的传输和标准宽带的延迟是一样的吗. SpaceX公司, 例如, 有我们, 一个低地球轨道(LEO)卫星星座，它声称增加的延迟不超过20毫秒. SpaceX公司 contends that its Starling delivery can make 70 round trips of data transfer to everyone for a geostationary satellite’s delivery—with latency delays of approximately 20 ms versus the half-second or more required for geostationary satellites. 其他两家卫星供应商对此提出了异议——其中许多都有自己的“鸟”,或卫星, at 22,距离地球表面236英里，以容纳更大范围的交付和联邦通信委员会.

While the Starlink LEO sits at approximately 330 miles above the Earth—a limited area of coverage of the Earth’s surface that requires many more satellites in or位 to accomplish the same geographic coverage—it does have the added benefit of delivering much lower latency internet service than a geostationary satellite can provide. 仍然, the FCC noted at the beginning of a recent rural internet delivery auction that those seeking to bid as a low-latency provider using LEO satellite networks will face a “substantial challenge” demonstrating to FCC staff that “their networks can deliver real-world performance to consumers below the Commission’s 100ms low-latency threshold.“然而, SpaceX公司克服了这一挑战，并获得了参与农村宽带项目竞标的批准. 它是批准的申请名单中唯一的低轨道卫星提供商.

WebRTC

虽然网络会议是大流行期间的主要重点, 甚至像Zoom这样的大型低延迟通信公司现在也在裁员. But the general concept of real-time communications on the web—with the WebRTC bundle of protocols leading the charge—has been progressing through a series of technical advances. The most recent involve ingest (WHIP) and egress (WHEP) in a nod to the fact that there may be a number of traditional streaming providers that only want to use the near-zero-latency benefits of WebRTC for acquiring content while continuing to use HTTP-based delivery to the overall global streaming audiences. 这是一个值得关注的问题, 因为WHEP可能会为本文前面提到的分岔创造技术路径.