直播字幕的需求
实时字幕提升直播的无障碍访问性，帮助听障用户、非母语观众和嘈杂环境中的观众理解内容。同时字幕数据还可用于直播内容检索和精彩片段自动剪辑。
技术方案
语音识别（ASR）
核心引擎选型：Google Speech-to-Text V2（支持127种语言，流式识别延迟200ms）、Azure Speech Service（企业级SLA，自定义模型训练）、Whisper Large V3（开源，可本地部署保护隐私）。建议使用流式识别API，实时返回中间结果和最终结果。
标点恢复与分句
ASR原始输出通常没有标点。使用专门的标点恢复模型（如ct-transformer）自动添加逗号、句号和换行。中文需要额外的分词处理以确保换行位置合理。
实时翻译
多语言字幕是国际化直播的刚需。方案：ASR输出 → NMT（神经机器翻译）→ 多语言字幕流。推荐使用DeepL API或自建的MarianMT模型。翻译延迟额外增加300-500ms。
技术难点与解决方案
- 说话人识别：多人场景区分不同说话人，使用diarization模型
- 专业术语：通过热词列表（Hot Words）提升专业术语的识别率
- 方言和口音：使用多方言ASR模型或fine-tune适配特定主播
- 背景音乐干扰：前置音频分离模型（如Demucs）提取人声
部署架构
推荐方案：音频流通过WebSocket发送到ASR服务 → 结果经过标点恢复和翻译 → 通过SSE（Server-Sent Events）推送到播放器叠加显示。整体延迟控制在1-2秒内。使用GPU服务器部署Whisper可支持100路并发流。
成本估算
云端ASR费用约$0.024/分钟（Google）或$0.016/分钟（Azure）。自部署Whisper Large V3需要1张A100 GPU，月成本约$2000，可支持100路并发，单路成本约$0.0003/分钟。日均直播10小时以上建议自部署。