ElevenLabs 是一家专注于 AI 语音克隆和文本转语音 API 的初创公司,近日宣布推出用户可以构建完整对话式AI智能体的新功能。

用户现在可以在 ElevenLabs 的开发者平台上,依据自己的需求,定制对话智能体的多种变量,比如语音语调和回复长度。

ElevenLabs 过去主要提供不同的语音和文本转语音服务。公司增长主管 Sam Sklar 在接受 TechCrunch 采访时表示,许多客户早已在使用该平台创建对话式AI智能体。但在集成知识库和处理客户中断方面是最大的挑战。因此,ElevenLabs 决定构建一个完整的对话机器人管道,以便简化这一过程。

用户可以通过登录 ElevenLabs 账号,选择模板或创建新项目来开始构建对话智能体。他们可以选择智能体的主要语言、首条消息和系统提示,以确定智能体的个性。

此外,开发者还需选择大型语言模型(如 Gemini、GPT 或 Claude)、响应的温度(决定创意性)以及令牌使用限制。

用户还可以根据自己的需求添加知识库,如文件、URL 或文本块,以增强对话机器人的能力。同时,他们可以将自己的自定义大型语言模型与该机器人集成。ElevenLabs 的 SDK 兼容 Python、JavaScript、React 和 Swift,此外,该公司还提供 WebSocket API,便于进一步定制。

公司还允许用户定义数据收集标准,例如与智能体对话的客户姓名和电子邮件,并使用自然语言定义通话的成功与否评估标准。

ElevenLabs 正在利用其现有的文本转语音管道,同时也在为新对话式人工智能产品开发语音转文本功能。目前,该公司并未单独提供语音转文本 API,但未来可能会推出,从而与谷歌、微软和亚马逊等公司的语音转文本 API 竞争,以及与 OpenAI 的 Whisper、AssemblyAI、Deepgram、Speechmatics 和 Gladia 等专业 API 展开竞争。

该公司计划以超过30亿美元的估值筹集新一轮资金,且正与其他语音 AI 初创企业如 Vapi 和 Retell 展开竞争,这些公司同样在构建对话智能体。更重要的是,ElevenLabs 将与 OpenAI 的实时对话 API 竞争。不过,ElevenLabs 相信其定制化能力和切换模型的灵活性,将使其在竞争中占据优势。

划重点:

💬 ElevenLabs 推出了构建对话式AI智能体的新功能,允许用户自定义多种变量。

📚 用户可以添加知识库以增强智能体能力,并将自定义大型语言模型与之集成。

🚀 ElevenLabs 计划以超过30亿美元的估值筹集资金,并与 OpenAI 等竞争对手展开竞争。