正文 · AI 翻译
对话式 AI 正在改变人类与技术互动的方式。从虚拟助手和 AI 驱动的联络中心，到实时翻译和无障碍工具，语音优先界面正迅速成为全球数百万用户的默认交互方式。然而，提供真正自然的语音体验仍是 AI 基础设施面临的最艰难挑战之一。用户期待接近人类的响应速度。过高的延迟会打断对话节奏并削弱信任。要让语音听起来自然，AI 生成的语音必须在人类对话轮流发言所对应的时间窗口内传达。本文介绍 AWS 合作伙伴 Cartesia 如何利用专门设计的状态空间模型（SSM）和 AWS 基础设施，在全球范围内提供延迟低于 100 毫秒的文本转语音和语音转文本服务。Cartesia 专注于实时语音 AI。开发者可以构建让人感觉与人类对话无异的语音体验。对话式 AI 的兴起与延迟预期：各行业对实时语音 AI 的需求正在迅速增长：联络中心：处理数百万次客户互动的 AI 智能体需要即时生成语音，以维持自然对话。远程医疗：远程患者咨询需要低延迟语音，以实现准确、富有同理心的沟通。游戏和虚拟世界：沉浸式体验需要为非玩家角色（NPC）及玩家互动实时合成语音。无障碍：屏幕阅读器和语音界面必须即时响应，才能服务视障用户。呼入和呼出销售：AI 销售智能体必须及时回应，避免尴尬的停顿，才能筛选潜在客户、处理异议，并让潜在客户保持在线。传统的基于 Transformer 的文本转语音（TTS）模型在流式处理延迟方面表现不佳，因为它们要处理完整个序列后才会产生输出。这一架构限制带来了根本性的矛盾：更高的质量往往意味着更高的延迟。一类新模型——状态空间模型——化解了这一权衡。用于语音 AI 的状态空间模型（SSM）：状态空间模型（SSM）处理序列的方式与 Transformer 有根本区别，后者是当今大多数 AI 背后的架构。Transformer 使用一种称为注意力的机制，将序列中的每个元素与其他所有元素进行比较。因此，随着序列变长，计算量呈平方级增长。SSM 则将序列视为一个随时间持续演化的系统，逐步处理序列，并将紧凑的内部状态向前传递。这种方式可以转换为计算机能够高效处理的形式，使某些长序列的处理成本保持较低。凭借这种效率，SSM 非常适合实时流式数据，例如实时语音。SSM 在音频处理方面的主要优势包括：高质量的长程依赖建模：结构化 SSM 是一种线性递归形式，但其状态参数化方式能够在长音频序列中保留信息，避免限制长短期记忆（LSTM）网络等经典循环神经网络（RNN）的长程信号衰减问题。恒定的内存占用：与缓存此前所有 token 的 Transformer 不同，SSM 维持固定大小的隐藏状态。原生支持流式处理：其递归结构逐个处理输入 token，因此无须修改架构即可支持真正的流式处理。这些特性使 SSM 特别适合质量和延迟都不容妥协的实时语音应用。工作原理：用于实时语音的 SSM。Cartesia 将这些 SSM 优势应用于两款已投入生产的语音模型：用于语音生成的 Sonic 和用于转写的 Ink。Cartesia 简介：Cartesia 是一家实时多模态智能公司，构建了一款专门基于状态空间模型架构的语音 AI 应用。Cartesia 由推动 SSM 进展的研究人员创立，其应用旨在以接近人类感知极限的速度进行流式推理。 该应用包含2个核心模型：用于文本转语音的 Sonic 和用于语音转文本的 Ink。两者均经过优化，可在保持录音室级输出质量的同时，将首字节延迟控制在100毫秒以下。Sonic（文本转语音）Sonic 是 Cartesia 的旗舰流式文本转语音模型，能够以低于100毫秒的延迟合成极其逼真的语音：首个音频字节约在90毫秒后到达：用户几乎能立即听到语音回应。极其逼真的语音质量：在超过44种语言中呈现自然的韵律、情感和表现力。仅需少量数据即可克隆声音：利用10秒的音频样本创建听起来自然的定制声音。原生流式架构：在收到完整文本输入之前就开始生成音频。上下文感知语音合成：在长篇内容中保持一致的语气和风格。对于希望以最少的运维负担尽快投入生产的团队，建议使用 Sonic。调用 API 即可实时接收流式音频。Ink（语音转文本）Ink 是 Cartesia 专为对话式 AI 应用打造的流式语音转文本模型：原生话轮检测：自动识别说话者何时结束发言，无需单独的语音活动检测（VAD）或话语结束点检测模型，即可减少尴尬的停顿。上下文感知结束点检测：利用语义理解区分句中停顿与真正的对话边界。流式转录：在用户说话时实时输出部分转录文本，使下游大型语言模型（LLM）能在该话轮结束前开始生成回应。抗噪能力：在实际部署中常见的嘈杂环境里保持准确性。多说话者支持：妥善处理重叠语音和说话者切换。Sonic 和 Ink 共同提供构建拟人对话代理所需的完整语音 AI 技术栈。在 AWS 上部署 Cartesia 如果你需要数据主权、延迟控制或合规保障，可以将 Cartesia 模型直接部署到自己的 AWS 账户中。Sonic 通过 AWS Marketplace 以 Amazon SageMaker AI 模型包的形式提供，你可以将其部署到完全运行于你的虚拟私有云（VPC）内的 SageMaker AI 端点。推理数据不会离开你的账户。本节介绍的部署模式适用于 Sonic。Ink 目前通过 Cartesia API 提供，你可以通过 AWS Marketplace 中的 Cartesia Voice AI Platform 产品页面购买。Sonic 主要有2种部署模式。选项1：Amazon SageMaker AI（AWS Marketplace 模型包）在 Amazon SageMaker AI 上部署，是获得托管式 VPC 内 Sonic 端点的最快途径。Sonic 以 AWS Marketplace 模型包的形式提供，因此需要执行1次订阅操作，以向你的账户授予特定于 AWS 区域的模型包 ARN。然后，你可以通过控制台或 SageMaker 或 Boto3 SDK，使用该 ARN 创建 SageMaker AI 端点。以下步骤遵循 Cartesia 的官方部署笔记本。先决条件 在 Amazon SageMaker Notebook Instance 或 SageMaker Studio 中运行。AWS Identity and Access Management（IAM）执行角色需要 AmazonSageMakerFullAccess。要进行订阅，你的角色（以及你本人）需要 aws-marketplace:Subscribe、aws-marketplace:Unsubscribe 和 aws-marketplace:ViewSubscriptions 权限。否则，该账户必须已订阅该产品。在部署之前，从模型包的 SupportedRealtimeInferenceInstanceTypes 字段中选择受支持的实例类型：ml.g6e.xlarge 或更大型号；ml.g7e.2xlarge 或更大型号；ml.g7.2xlarge 或更大型号；ml.p5.48xlarge；ml.p5en.48xlarge。如果所选实例类型的已应用配额值低于当前使用量与计划部署的端点实例数量之和，你可能需要申请提高服务配额。详情请参阅 SageMaker AI 配额。 将 Sonic 3.6 部署到 SageMaker 端点 在 Amazon SageMaker JumpStart 中，您可以订阅其 AWS Marketplace 模型包、创建 SageMaker 模型，并将其托管在实时端点上。以下 4 个步骤展示部署流程。在 SageMaker AI 中，打开 AWS Marketplace 资源，然后选择“所有产品”。搜索 Sonic 3.6 SageMaker，并选择 Cartesia 的产品条目。图 1：在 AWS Marketplace 中搜索 Cartesia Sonic 3.6 SageMaker 模型包 选择“查看购买选项”，查看价格和条款，然后订阅。订阅会授予您的 AWS 账户访问该模型包的权限，但不会部署资源。图 2：AWS Marketplace 中的 Cartesia Sonic 3.6 产品条目 打开“部署与推理”>“可部署模型”，选择“创建模型”，选择“使用来自 AWS Marketplace 的模型包订阅”，然后选择 Sonic 3.6 SageMaker。选择执行角色，然后创建模型。图 3：通过 Sonic 3.6 订阅创建 SageMaker 模型 使用受支持的 GPU 实例（例如 ml.g6e.2xlarge）为该模型创建实时端点。端点最初显示为 Creating 状态。请等到状态变为 InService 后再调用。图 4：Sonic 3.6 的 SageMaker 端点 模型包 ARN 因区域而异。要使用 SageMaker API 验证美国东部（弗吉尼亚北部）区域的 Sonic 3.6 模型包，请运行：export MODEL_PACKAGE_ARN="arn:aws:sagemaker:us-east-1:865070037744:model-package/sonic36-sagemaker-v0-c6e9cacffcdf31178d1bd7c98c587480" aws sagemaker describe-model-package \ --model-package-name "$MODEL_PACKAGE_ARN" \ --region us-east-1 \ --query '{Status:ModelPackageStatus,ProductId:InferenceSpecification.Containers[0].ProductId,InstanceTypes:InferenceSpecification.SupportedRealtimeInferenceInstanceTypes}' 端点达到 InService 状态后，使用 SageMaker Runtime InvokeEndpointWithResponseStream API 调用它，并在应用程序中处理返回的音频流。选项 2：在 EC2 GPU 实例上自行管理 部分团队已有 GPU 基础设施、严格的网络要求，或需要将 Cartesia 与其他服务部署在一起。在这些情况下，您可以自行在 Amazon Elastic Compute Cloud（Amazon EC2）GPU 实例上运行模型容器。这样，您就能全面控制运行时、扩缩容和网络路径。此方式使用从 Cartesia 获取的 Cartesia 容器镜像，而不是 AWS Marketplace 模型包。图 5：Cartesia Sonic 在 Amazon EC2 GPU 实例上的自行管理部署流程 获取容器镜像。向 Cartesia 索取 Sonic 容器镜像和许可条款。将镜像复制到您自己的私有 Amazon Elastic Container Registry（Amazon ECR）存储库，以便计算环境使用限定 IAM 权限的凭证拉取镜像，而不必在大规模部署时访问外部镜像仓库。选择 GPU 实例系列。Sonic 在 NVIDIA GPU 实例上运行。G6（L4）和 G6e（L40S）系列在实时 TTS 场景下能实现最佳平衡。较早的 G5（A10G）也适用。根据目标并发量匹配 GPU 内存和 vCPU；为简化扩缩容，最好每个模型副本使用单 GPU 实例。预置计算环境（Amazon Elastic Container Service（Amazon ECS）或 Amazon Elastic Kubernetes Service（Amazon EKS））。对于 ECS：注册 GPU 任务定义（设置容器的 GPU 资源要求，例如使用 type 为 GPU 的 resourceRequirements），并将其作为服务运行在 Application Load Balancer 后面。对于 EKS：使用 EKS GPU 优化型 AMI 创建 GPU 节点组（或 Karpenter 预置器），安装 NVIDIA 设备插件，并将容器部署为由 Service/Ingress 对外提供访问的 Deployment。配置网络以实现低延迟。将推理节点放入集群置放群组，以尽量降低节点间延迟；将副本保留在单个可用区，以获得最短路径；并使用 VPC 端点从 ECR/S3 拉取资源。对于混合环境或本地部署环境中的调用方，通过 AWS Direct Connect 或私有 Network Load Balancer 接入流量，以避免经过公共互联网。 高效加载模型权重。将模型权重存储在跨副本挂载的共享低延迟卷（Amazon Elastic File System（Amazon EFS）或 Amazon FSx for Lustre）上，这样新 Pod 或任务启动时就无需各自重新下载数 GB 的文件。在容器启动时预热模型，并提供健康检查，使负载均衡器只向已就绪的副本路由请求。调整批处理和并发设置。根据流量特征设置容器的最大批次大小和并发流数量上限。较大的批次可提高 GPU 利用率，但会增加首字节延迟，因此应以低于 100 毫秒的目标为基准进行调优。对每个 GPU 可处理的流数量进行基准测试，以确定扩缩容所依据的副本容量。实现自定义自动扩缩容。依据能反映实际负载的指标（活跃音频流数量或 GPU 利用率，而不是 CPU 利用率）进行扩缩容。在 Amazon ECS 上，使用 AWS Application Auto Scaling 和自定义 Amazon CloudWatch 指标。在 Amazon EKS 上，使用由 GPU 或流数量指标驱动的 HPA/KEDA，并在副本增加时由 Karpenter（或 Cluster Autoscaler）添加 GPU 节点。增强可观测性和韧性。将延迟（首字节时间）、流数量和 GPU 指标发送到 CloudWatch。为保证可用性，至少在不同节点上运行两个副本。设置滚动更新或连接排空策略，避免部署时中断正在传输的音频流。如果要将 Cartesia 集成到现有机器学习（ML）系统中、满足托管服务无法提供的网络或合规要求，或利用预留或 Spot GPU 容量优化成本，建议采用这种方式。其代价是，原本由 SageMaker 为你处理的资源预置、扩缩容、修补和监控都需要由你负责。了解更多：参阅适用于 GPU 工作负载的 Amazon ECS 任务定义、在 Amazon EKS 上管理 NVIDIA GPU 设备，以及 GPU 加速 EC2 实例入门。选择合适的部署模式 AWS 提供两种运行 Sonic 的方式，分别适合不同的起点。对于大多数团队，默认选择是托管方式，即使用 AWS Marketplace 上的 Amazon SageMaker AI 模型包：订阅后，几分钟内即可部署到 VPC 内端点，并由 SageMaker 负责扩缩容和运维。自行管理方式是在 EC2 GPU 实例上自行运行模型容器，适用于有特定约束的团队，例如已有 GPU 基础设施、严格的网络要求，或需要将 Cartesia 与其他服务部署在同一位置。对于这些团队，全面掌控运行时、扩缩容和网络路径比缩短部署时间更重要。下表概述了两种方式的比较。比较标准 SageMaker（Marketplace） EC2 GPU（自行管理） 部署时间 订阅后几分钟 数小时至数天 计算资源 实时端点。有关支持的实例，请参阅 SupportedRealtimeInferenceInstanceTypes。 EC2 GPU 实例 运维控制 由 AWS 管理 完全控制 扩缩容 SageMaker 自动扩缩容 自定义扩缩容策略 成本模型 软件费用 + 每实例小时费用 + 基础设施费用 EC2（预留实例/Spot 节省成本） 网络 VPC 内端点（网络隔离） 置放群组、Direct Connect 最适合 快速部署、托管、VPC 内部署 自定义基础设施、最大控制权 除了可以在自己的账户中部署 Cartesia，这些模型也已在 Amazon 服务内部的生产环境中得到验证，而对实时语音要求最严苛的环境之一就是实时运行的联络中心。Amazon Connect 正是这样的验证场所。生产环境中的应用：Amazon Connect 本节介绍 Cartesia 的语音模型如何在 Amazon Connect 中以生产规模运行。什么是 Amazon Connect？Amazon Connect 是一项基于云的联络中心服务，企业用它来建立和运营客户支持业务，处理呼入和呼出语音电话、聊天及消息。Amazon Connect 采用按需付费定价模式，并与 AWS 服务深度集成，每天为金融服务、医疗保健等行业处理数百万次客户互动。 Cartesia 如何助力 Amazon Connect 体验 Cartesia 的语音 AI 模型与 Amazon Connect 原生集成，提供新一代联络中心体验：即时响应：减少破坏客户对 AI 交互信心的不自然停顿。实时转录：Ink 提供实时转录和智能话轮检测，支持坐席辅助工作流程。多语言支持：以一致的语音质量和自然的韵律为使用超过 44 种语言的客户提供服务。可扩展的基础设施：在高峰时段应对流量激增，同时保持语音质量和低延迟。通过将 Amazon Connect 的全渠道编排能力与 Cartesia 的实时语音 AI 相结合，您可以自动处理复杂的客户互动，同时保持自然、响应迅速的体验，从而建立信任和忠诚度。开始使用 准备好构建超低延迟语音 AI 应用了吗？以下是后续步骤：通过 SageMaker JumpStart 部署 Sonic：在 SageMaker JumpStart 模型中心搜索“Cartesia”，几分钟内即可部署实时端点。试用 Cartesia API：按照 Cartesia 入门指南开始使用。无需设置基础设施。探索参考架构：访问 Cartesia GitHub 仓库，获取示例笔记本、部署模板和集成示例。联系团队：通过 AWS Marketplace 联系 Cartesia。关于作者 Nolan Chen Nolan 是 AWS 的合作伙伴解决方案架构师，帮助初创公司利用云构建创新解决方案。加入 AWS 之前，Nolan 专注于数据安全，并帮助客户部署高性能广域网。Jim Fratantoni Jim 是 AWS 的高级前沿 AI 客户经理，专注于帮助 AI 初创公司构建技术集成，并与 AWS 联合销售。他热衷于与创始人合作，共同进入市场，推动企业客户取得成功。Anita Mo Anita 是 Cartesia 的创始产品营销负责人，负责发布策略、内容和传播。她与 Cartesia 的产品、研究和市场拓展团队合作，帮助开发者和企业了解并构建下一代语音 AI 体验。Daniel Wirjo Daniel 是 AWS 的解决方案架构师，专注于 AI 和 SaaS 初创公司。作为一名前初创公司首席技术官，他与创始人和工程负责人合作，帮助他们在 AWS 上构建业务并实现增长。工作之余，Daniel 喜欢边喝咖啡边散步、亲近自然和学习新知识。ND Ngoka ND 是 AWS 的高级解决方案架构师，专注于 AI/ML 和存储技术。他指导客户做出复杂的架构决策，帮助他们构建富有韧性、可扩展且能推动业务成果的解决方案。