VideoChat是什么

VideoChat是开源的实时数字人对话系统,支持语音输入和实时对话功能。用户自定义数字人的形象和音色,无需训练即可进行音色克隆,首包延迟可低至3秒,适用于直播、新闻播报和聊天助手等多种实时语音交互场景。系统支持支持GLM-4-Voice,提供ASR-LLM-TTS-THG和MLLM-THG两种生成方式。VideoChat用Gradio框架构建交互式应用,支持流式视频输出,方便快速部署和构建。

VideoChat  开源的实时数字人对话系统,首包延迟低至3秒 第1张VideoChat的主要功能实时语音交互:支持用户用语音与数字人进行实时对话。形象和音色自定义:用户根据需要选择或设计数字人的外观和声音,实现个性化交互。语音输入和文本输出:将用户的语音输入转换为文本,再基于大语言模型生成回复文本。唇形同步:数字人在说话时,嘴唇动作与发出的声音同步,提高真实感。流式视频输出:基于Gradio框架,支持流式视频输出,让交互更加流畅。VideoChat的技术原理语音识别(ASR):用FunASR等工具将用户的语音输入转换为文本。大语言模型(LLM):基于通义千问等模型根据输入文本生成相应的回复文本。文本转语音(TTS):基于GPT-SoVITS等工具将文本回复转换为语音。说话人生成(THG):用MuseTalk等方案根据语音生成唇形同步的数字人视频。流式输出并行流水线:基于并行处理技术,边推理边播放,提高响应速度。Gradio框架:用Gradio 5实现流式视频输出,方便部署和构建交互式应用。VideoChat的项目地址GitHub仓库:https://github.com/Henry-23/VideoChat在线体验Demo:https://www.modelscope.cn/studios/AI-ModelScope/video_chatVideoChat的应用场景客户服务:作为虚拟客服,提供24*7的咨询服务,解答用户问题,减少企业人力成本。在线教育:作为虚拟教师,提供语言学习、课程讲解等服务,增加学习的互动性和趣味性。新闻播报:用在新闻行业,用数字人的形式播报新闻,提高新闻播报的效率和吸引力。直播行业:作为虚拟主播,进行产品介绍、直播带货等,增加直播的互动性和观众的观看体验。娱乐互动:在游戏、虚拟演唱会等娱乐领域,提供更加丰富的互动体验。