Baseten 优化 Qwen3-ASR 批量转写,单卡吞吐提升 7 倍
Baseten 工程团队通过原生音频解码、KV cache FP8 量化和减少主机与设备同步,把 Qwen3-ASR 1.7B 在单张 RTX PRO 6000 上的批量转写吞吐提升 7 倍、延迟降低 6.9 倍。优化后一小时音频的转写成本约为 0.0013 美元,即每音频小时 1/10 美分,词错误率没有明显变化。该优化版本已作为 Baseten Model Library 的默认部署,可通过 OpenAI 兼容的转写客户端调用。

#教程/实践#部署/工程#语音
