隆重推出 Eleven v4,认识 Eleven v4,这是我们迄今为止最具情感表现力的模型。
探索跳至内容登录注册联系销售登录如今,无缝的网页通信让人感觉毫不费力。但过去,构建低延迟的视频或语音流媒体应用对开发者而言是一大难关。用户不得不应对掉帧、音频延迟和连接中断,这些问题都会破坏交互体验。
WebRTC 通过实现低延迟的点对点数据流传输,帮助开发者解决实时网页通信中的种种不足。自 2011 年推出以来,包括 Chrome、Safari 和 Firefox 在内的主流浏览器都已采用 WebRTC。如今,WebRTC 为浏览器和网页应用中的实时通信提供支持。
本文探讨 WebRTC 的工作原理、应用场景、安全考量,以及它与其他网页通信技术的比较。
摘要
- WebRTC 是一项技术,允许在浏览器或网页应用之间以点对点方式实时流传输音频、视频和数据。
- WebRTC 基于 UDP 运行,因此适合低延迟、可容忍丢包的网页通信应用。
- 要使用 WebRTC 进行流传输,你需要使用 RTCPeerConnection、MediaStream 和 RTCDataChannel 等标准 API,它们会创建一个加密通道,用于实时媒体交换。
- 对等设备依靠 STUN 和 TURN 服务器来发现自己的 IP 地址,并在建立 WebRTC 连接时克服网络限制。
- 开发者在构建 WebRTC 应用时必须考虑若干挑战,包括可扩展性、安全性和连接性。
什么是 WebRTC?
WebRTC 是一项免费、开源的通信技术,可在网页浏览器之间实现点对点、实时流传输。借助 WebRTC,用户可以直接交换视频、音频和数据,无需下载插件或中间软件。
与传统的客户端-服务器流传输不同,只要存在直接路径,WebRTC 就会在对等方之间直接发送媒体。只有在无法建立直接连接或有超过两名参与者加入时,中继(TURN)服务器和媒体服务器才会介入。这使 WebRTC 能够提供低延迟的实时媒体。
现代网页浏览器默认支持 WebRTC。WebRTC 是 W3C 和 IETF 制定的开放标准,它提供 JavaScript API,让你可以访问摄像头和麦克风、创建数据通道,并将媒体内容传送到目的地。
由于其简单性,开发者使用 WebRTC 来支持各种网页应用,包括电话会议、视频和音频流传输、实时转录以及屏幕共享。

WebRTC 的工作原理:从信令到点对点媒体
WebRTC 在浏览器中捕获数据,对其进行加密,并实时流传输到另一个浏览器。它通过用户数据报协议(UDP)创建数据通道,浏览器或网页应用可以在其中以低延迟交换数据。UDP 是一种快速、无连接的协议,可在网络上发送数据包。它不需要维护连接、确认数据包接收或重传丢失的数据包,因此开销显著更低。
默认情况下,原生 WebRTC API 支持两个浏览器之间的直接点对点(P2P)流传输。不过,两个以上的浏览器可以通过创建多个 P2P 连接或使用媒体服务器来交换数据。通常,上行带宽会限制多个 P2P 连接,因此对于在线会议等应用而言,媒体服务器是更好的选择。
下面,我们用一个演示两个浏览器之间视频传输的示例来解释其工作原理。
要创建 WebRTC 连接,两个浏览器都要遵循以下步骤。
- 媒体捕获。在捕获数据之前,浏览器会请求用户允许访问其麦克风、摄像头或屏幕。这是 WebRTC 框架内置的默认安全功能,开发者无法绕过。
- 信令。此过程让两个浏览器通过信令服务器协商元数据,以实现成功的数据交换。例如,浏览器 A 发送其支持的编解码器、比特率和加密技术。然后,它等待浏览器 B 用相应的元数据作出响应。两个浏览器必须就一组共同的元数据达成一致,才能交换数据。
- 保护通道。WebRTC 会在传输过程中加密媒体和数据,以保护它们免受未经授权的第三方访问。两个浏览器使用数据报传输层安全协议(DTLS)交换加密密钥,并用这些密钥加密和解密数据。每一跳都单独加密,因此媒体服务器或 SFU 可以访问媒体,除非你在其上添加端到端加密,例如使用可插入流(insertable streams)。
- 媒体交换。一旦浏览器协商出加密密钥,它们就使用安全实时传输协议(SRTP)交换媒体。发送方将使用 AES-128 加密所有传出的视频、音频和其他任意数据。同时,设备使用流控制传输协议(SCTP)发送 JSON 和文本文件等任意数据。
- 拥塞管理。设备会主动检测抖动、延迟或其他劣化迹象。设备向对等方发送实时传输控制协议(RTCP)数据包。然后,它使用一种名为 Google Congestion Control 的带宽估计算法检查 RTCP 响应,并相应地调整传输速率。
WebRTC 标准提供了应用程序编程接口(API)以及媒体捕获、数据安全和媒体交换的指导原则。不过,它并未定义信令框架。因此,开发者通过 WebSocket 等不同机制实现信令。
支持的 WebRTC 编解码器
编解码器是一种压缩和解压缩媒体流的算法。所有符合 WebRTC 规范的浏览器都必须支持以下编解码器。
- 视频:VP8、H.264。
- 音频:Opus、G.711 PCM(A-law)、G.711 PCM(µ-law)。
不过,一些浏览器可能支持更新的编解码器,例如 AV1 和 VP9。

WebRTC API:RTCPeerConnection、MediaStream 和数据通道
WebRTC 在浏览器运行时中向开发者提供三个核心 API。
- RTCPeerConnection 负责连接发现、元数据协商、安全握手和加密。它允许你添加视频和音频流,设备会将这些流发送给对等端。
- MediaStream 是一个包含你想要流式传输的内容的对象。你通过调用 getUserMedia() 来填充它,该函数会将摄像头和麦克风输入传递给 MediaStream 实例。
- RTCDataChannel 是为在对等浏览器之间发送任意数据而创建的数据通道。

WebRTC 为何使用 STUN 和 TURN 服务器
大多数 WebRTC 连接发生在位于不同网络中的设备之间。它们需要知道对等端的公网 IP 地址才能交换数据。然而,设备通常位于防火墙、路由器之后,或处于受保护的网络内。这些设备并不总能知道自己的公网 IP 地址,这使连接建立变得更加复杂。

路由器使用网络地址转换(NAT)将私有地址映射为公网地址。随后,WebRTC 使用交互式连接建立(ICE)来寻找对等端之间可用的路径。
NAT 是一项允许本地网络中的设备共享单个公网 IP 地址的服务。例如,你的计算机拥有私有 IP 地址 192.168.1.104。借助 NAT,当你的路由器连接到互联网时,会将其映射为公网 IP 地址 210.195.229.181。当你向该公网 IP 地址发送数据包时,路由器会识别出对应的私有 IP 地址和本地端口,并将数据投递到那里。
ICE 是一个允许对等设备相互发现的框架。设备首先会尝试使用通过 STUN 服务器发现的公网 IP 地址建立连接。如果失败,它们会退回到中间中继服务器。STUN 和 TURN 服务器都在 ICE 框架内运行,以实现成功的对等连接。
- NAT 会话穿越实用工具(STUN)服务器会向设备提供其自身的公网 IP 地址和外部端口。一旦设备知道了自己的公网 IP 地址,就会将其发送给希望通过互联网建立连接的对等端。
- NAT 中继穿越(TURN)服务器提供了建立 WebRTC 连接的另一种方式。TURN 服务器提供一个中继地址,双方对等端都使用该地址来交换数据。当对等端即使知道彼此的公网 IP 地址仍无法建立连接时,就会退回到 TURN。

WebRTC 中的媒体服务器是什么?
媒体服务器是 WebRTC 架构中在设备之间路由数据的中间服务器。虽然 WebRTC 媒体服务器并非必需,但当设备需要同时向多个对等端进行流式传输时,它就很有用。WebRTC 媒体服务器将处理、加密和路由到目标设备的负担分担出去。
WebRTC 与 WebSocket:你应该使用哪种协议?
WebSocket 是一种允许客户端和服务器之间进行双向数据交换的协议。它运行在传输控制协议(TCP)之上,后者提供可靠、有序的投递。与此同时,WebRTC 使用 UDP 提供点对点流式传输能力,UDP 具有更低的延迟,并针对实时传输进行了优化。
当你想要流式传输高清视频且无法承受卡顿或质量下降时,WebRTC 是更好的选择。与此同时,WebSocket 适合用于维持持久连接,使应用程序能够可靠地与后端服务器交换消息。
WebRTC 和 WebSocket 并非相互竞争的协议。事实上,为了建立 WebRTC 连接,设备会使用 WebSocket 进行信令。WebSocket 专为事件驱动的消息而构建,允许设备发送和接收网络参数、媒体元数据以及其他警报。

WebRTC 在实时语音、视频和数据方面的用例
WebRTC 已成为跨 Web 应用和浏览器进行低延迟流式传输的标准。多年来,开发者利用 WebRTC 来支持这些应用。
- 视频会议。参会者可以通过视频通话进行互动、共享屏幕并实时转录。
- 语音通话。WebRTC 支持消息应用、联络中心和基于浏览器的电话中的音频对话。
- 物联网。IoT 设备使用 WebRTC 将来自家庭摄像头、无人机和门铃摄像头的视频和音频数据流式传输到移动应用。
- 远程医疗。医生和患者使用支持 WebRTC 的基于浏览器的应用远程进行问诊。
- 交互式直播。内容创作者、游戏玩家和娱乐人士利用 WebRTC 能力与观众实时互动。
- AI 语音代理. WebRTC 让 AI 语音代理 能够进行自然的多轮对话。

WebRTC 是 API、协议还是平台?
WebRTC 是一组构建在多种协议之上的 API。开发者使用内置于浏览器中或以 SDK 形式提供的 WebRTC API 来构建低延迟的语音和视频流式传输应用。例如,他们调用 getUserMedia、RTCPeerConnection 和 RTCDataChannel 等 API 来建立 RTC 连接并双向交换数据。
你也可以将 WebRTC 视为一套协同工作以实现实时流式传输的协议。
协议
功能
数据报传输层安全协议(DTLS)
提供初始加密和身份验证握手,以保护 WebRTC 数据。
安全实时传输协议(SRTP)
对流式传输到对等设备的 WebRTC 负载进行加密。
实时传输控制协议(RTCP)
提供拥塞控制。
流控制传输协议(SCTP)
允许设备有序地发送数据
NAT 会话穿越实用工具(STUN)
使设备能够发现其公网 IP 地址,然后将其发送给对等设备。
NAT 中继穿越(TURN)
通过中间服务器提供一个中继地址,供对等端在无法建立直接连接时使用。
虽然 WebRTC 提供了流式传输音频、视频或其他数据类型的基礎,但它并不是一个平台。WebRTC 不提供促进数据交换所需的框架、基础设施或信令机制。

WebRTC 的局限性、安全考量和权衡
虽然 WebRTC 提供低延迟的双向通信,但开发者在实际实现中会面临若干现实挑战。
可扩展性
当多个参与者加入网状网络时,WebRTC 会面临性能瓶颈。例如,如果有五名参与者加入一场实时视频会议,一台设备必须同时向另外四名参与者传输视频数据。这会给计算机资源和带宽带来压力,最终导致流媒体质量下降。
连接性问题
如果设备位于防火墙或对称 NAT 之后,它们可能无法使用 STUN 建立点对点连接。对称 NAT 会将面向公众的端口映射到特定目的地,从而限制点对点通信。在这种情况下,WebRTC 会回退到 TURN,这会增加端到端延迟。
安全考量
虽然 WebRTC 会自动加密传输中的数据,但仍存在若干挑战。
- 设备在连接到对等端时会暴露其本地或公网 IP 地址,这可能引发隐私担忧。
- 开发者必须使用安全的信令协议,例如 HTTPS 或 WSS。否则,恶意行为者可能拦截 WebRTC 连接。
- WebRTC 不处理应用层安全。你必须应用身份验证等缓解功能,以防止未经授权的用户加入通话。
信令一致性
如果没有标准化的信令框架,开发者可能会使用不同的信令机制,这可能导致协商消息冲突或不一致。这会使设备在成功协商 WebRTC 连接之前多次尝试。

使用 ElevenAgents 开始实时语音体验
ElevenAgents 让你能够构建通过 WebRTC 连接的实时语音代理。在 JavaScript 和 React SDK 中,语音对话默认使用 WebRTC,纯文本对话使用 WebSocket。你可以在 startSession 中将 connectionType 设置为 'webrtc' 或 'websocket' 来明确选择。WebRTC 在 React, Swift, 和 React Native SDK 中可用,并且在 Unity SDK 的 WebGL 构建. WebRTC 带来浏览器原生的回声消除和背景噪声抑制,有助于在 AI 对话中保持音频清晰。
了解更多关于 ElevenAgents 的信息,或 联系销售 以开始大规模使用 对话式 AI 代理 。
常见问题
WebRTC 是一种点对点实时流媒体 Web 技术,用于交换音频、视频和其他任意数据。同时,WebSocket 是一种事件消息传递协议,允许服务器和客户端之间进行双向通信。WebRTC 使用 UDP 发送数据包,而 WebSocket 依赖 TCP。
WebRTC 会向对等端暴露设备的私有或公网 IP 地址。如果不加以缓解,这可能引发安全担忧。此外,设备可能无法建立点对点连接,需要 TURN 服务器作为中介,这可能是复杂且成本高昂的部署。
包括 Google Chrome、Mozilla Firefox、Apple Safari 和 Microsoft Edge 在内的现代浏览器都支持 WebRTC。它们支持 getUserMedia、RTCDataChannel 和 RTCPeerConnection 等核心 API。虽然浏览器支持 VP8 和 H.264,但对 VP9 和 AV1 等较新编解码器的支持可能有所不同。
WebRTC 提供低延迟的数据传输层,AI 代理用它来向用户流式传输对话。通过运行在 UDP 之上,丢失的数据包不会使流停滞,内置的抖动缓冲区可简化播放体验。
Zoom 在其基于浏览器的客户端部分功能中使用 WebRTC,同时结合专有库。对于一对一通话,Zoom 可能会切换到 WebRTC。然而,Zoom 的桌面和移动客户端依赖专有技术而非 WebRTC。Zoom 在 2024 年 12 月宣布的 Video SDK for web 版本 2 中增加了 WebRTC 支持。这让开发者能够使用 Zoom 的架构将 WebRTC 视频会议添加到他们的应用中。
作者

增长营销
查看个人资料Jack Limebear 在增长团队工作,担任博客和洞察页面的内容撰写者和策略师。在加入 ElevenLabs 之前,他花了十多年时间为从快速增长的 SaaS 初创公司到财富 500 强企业的各类组织领导者内容战略。他拥有剑桥大学英国文学硕士学位。
类似文章

对话式 AI 中的话轮转换是什么:自然流畅指南
类别资源日期2026年10月29日
银行业中的对话式 AI:用例、优势、示例
类别资源日期2026年10月28日
什么是 LLM?语言模型实用指南
类别资源日期2026年11月16日
每位人类和 AI 代理都需要的 7 项客户服务技能(附示例)
类别资源日期2026年11月12日
使用最高质量的 AI 音频创作
联系销售注册
AI 热点