Together AI 优化 ASR 全链路,使 NVIDIA Parakeet-TDT 0.6B v3 可在不到 10 秒内转录约 20 小时语音,并与 OpenAI Whisper Large v3 一同成为 Artificial Analysis 排名中延迟最低的两款模型。其方案采用多配置 TensorRT、条件 CUDA 图、Unix 域套接字、共享内存和 epoll,解码器提速 2–3 倍。通过 gc.freeze() 排除预分配对象的 GC 扫描后,约 200 ms 的 p95 延迟尖峰也随之消失。
Together AI 优化 ASR 全链路,使 NVIDIA Parakeet-TDT 0.6B v3 可在不到 10 秒内转录约 20 小时语音,并与 OpenAI Whisper Large v3 一同成为 Artificial Analysis 排名中延迟最低的两款模型。其方案采用多配置 TensorRT、条件 CUDA 图、Unix 域套接字、共享内存和 epoll,解码器提速 2–3 倍。通过 gc.freeze() 排除预分配对象的 GC 扫描后,约 200 ms 的 p95 延迟尖峰也随之消失。 · Together AI optimized its full ASR serving path, enabling NVIDIA Parakeet-TDT 0.6B v3 to transcribe roughly 20 hours of speech in under 10 seconds; together with OpenAI Whisper Large v3, it ranks among the two lowest-latency models on Arti