01两个流式语音模型瞄准实时对话
Cartesia是一家实时多模态智能公司，其语音AI应用基于状态空间模型（SSM）构建，包含两个核心模型：Sonic负责文本转语音，Ink负责语音转文字。文章称，两者都针对低于100毫秒的首字节延迟做了优化，同时保持录音室级输出质量。首字节延迟指系统开始返回音频或文字结果所需的时间。文章以远程医疗问诊为例：这类场景需要低延迟语音来保持准确、有共情的沟通。123
02SSM用逐步处理替代整段生成
文章对比了SSM与主流Transformer架构：Transformer依赖注意力机制，序列越长，计算量增长越快；传统基于Transformer的文本转语音模型要先处理完整序列再输出，因此在流式场景中难以压低延迟。SSM则把序列视为随时间连续演进的系统，逐步处理，并向前携带一个紧凑的内部状态。文章称，这种循环结构让SSM能逐个输入单元处理，原生支持真正的流式处理，无需为流式改造架构。Sonic和Ink利用这些特性进行实时语音生成和转写，目标是在接近人类感知极限的延迟下完成推理。456
原文摘录
文中的小数字对应下面的英文原句，点句子或“原文 ↗”可打开英文原文。
1
The application features two core models, Sonic for text-to-speech and Ink for speech-to-text, both optimized for sub-100ms first-byte latency while maintaining studio-quality output.原文 ↗
2
Introducing Cartesia Cartesia is a real-time multimodal intelligence company that has built a voice AI application, purpose-built on State Space Model architecture.原文 ↗
3
Telehealth: Remote patient consultations demand low-latency voice for accurate, empathetic communication.原文 ↗
4
Traditional transformer-based text-to-speech (TTS) models struggle with streaming latency because they process entire sequences before producing output.原文 ↗
来源：AWS 机器学习博客 ↗ · 数字均为来源方口径，未经我们独立验证