video-analyzer 是开源的视频分析工具，结合Llama的11B视觉模型和OpenAI的Whisper模型来提取视频关键帧、转录音频内容，并生成视频的详细描述。工具支持完全本地运行，无需云服务或API密钥，或用OpenRouter的LLM服务提高处理速度和扩展性。video-analyzer 支持用户对视频内容进行深入分析，能应用于多种场景，包括监控、广告分析，以及内容分类等。
video-analyzer的主要功能本地视频分析：无需云服务或API密钥，在本地环境中处理视频。关键帧提取：智能地从视频中提取关键帧。音频转录：用OpenAI的Whisper模型进行高质量音频转录。自然语言描述：生成视频内容的详细描述。音频处理：自动处理低质量音频。video-analyzer的技术原理帧提取与音频处理：OpenCV库提取视频中的关键帧。Whisper模型处理音频，进行转录，并处理低质量音频。帧分析：基于Llama的11B视觉模型对每个关键帧进行分析，提取视觉信息。分析时考虑前一帧的上下文，保持视频内容的连贯性。视频重建：将帧分析结果按时间顺序组合，形成视频的逐帧描述。整合音频转录内容，用视频的第一帧设定场景背景。创建综合的视频描述，包括视觉信息和音频信息。video-analyzer的项目地址GitHub仓库：https://github.com/byjlw/video-analyzervideo-analyzer的应用场景内容审核：自动分析视频内容，帮助内容审核团队快速识别和处理不当内容。视频内容管理：为视频库生成元数据和描述，便于内容检索和管理。教育和培训：分析教育视频内容，自动生成课程摘要和关键点，辅助教学。安全监控：分析监控视频，识别异常行为或事件，提高安全响应速度。媒体和娱乐：为电影、电视节目自动生成剧本摘要，辅助编辑和后期制作。 
