开源 AI 视频分析工具!可本地运行,自动提取关键帧,智能识别画面内容。

1,870 阅读3分钟

随着视频内容在工作和生活中的占比越来越高,我们面临一个普遍挑战:如何从海量视频中快速提取有效信息?

不管是长达数小时的演讲,还是现在的短视频,传统的人工处理方式既费时又低效。

但今天要介绍的这款工具 Video-Analyzer,可能会改变你的看法。

图片

它不仅可以提取视频中的关键帧,还能生成精准的自然语言描述,为视频内容分析赋予良好的效率。

项目简介

Video-Analyzer 是一个基于最新 AI 技术的本地视频分析工具,运行在本地环境下,基于 Llama3.2 Vision 和 OpenAI Whisper 构建。

它能轻松处理长视频,生成详细的分析结果,提供了多模态支持,适合从视频内容梳理到数据挖掘的各种需求。

图片

功能亮点

1、自动提取关键帧

视频分析的第一步是定位关键画面。Video-Analyzer 能够自动检测视频中的关键帧,捕捉那些画面变化最具代表性和信息量的部分。

2、智能识别画面内容

依托 Llama3.2 Vision 强大的视觉识别能力,它可以识别视频中的物体、场景、文字等内容,并生成自然语言描述。

3、支持长视频处理

长视频处理常常是 AI 分析工具的痛点,而 Video-Analyzer 专门针对这一需求进行了优化。它不仅能处理数小时的视频内容,还能做到逐帧分析,确保重要信息不会遗漏。

4、多维度数据输出

分析结果可以导出为详细的 JSON 格式,内容包括:

  • 视频元数据(时长、分辨率、编码格式等)

  • 音频转录结果(基于 OpenAI Whisper)

  • 逐帧分析(每一帧的内容描述与分析)

  • 视频整体描述(提炼核心信息)

这些数据可以轻松应用于后续的自动化处理或报告生成。

快速使用

① 克隆项目

git clone https://github.com/byjlw/video-analyzer.git
cd video-analyzer

② 创建并激活虚拟环境

python3 -m venv .venv
source .venv/bin/activate  # On Windows: .venv\Scripts\activate

③ 安装依赖及FFmpeg音视频处理工具

# 依赖包安装
pip install -e .

# mac 安装ffmpeg
brew install ffmpeg

# win 安装ffmpeg
choco install ffmpeg

④ 下载Ollma视觉模型

ollama pull llama3.2-vision

⑤ 启动Ollma服务

ollama serve

⑥ API配置(在 config/config.json文件中)

{
  "clients": {
    "default""openai_api",
    "openai_api": {
      "api_key""your-api-key",
      "api_url""https://openrouter.ai/api/v1"  # or https://api.openai.com/v1
    }
  }
}

⑦ 基本用法

# 默认Ollma
video-analyzer path/to/video.mp4

# OpenAI 
video-analyzer path/to/video.mp4 --client openai_api --api-key your-key --api-url https://openrouter.ai/api/v1

# 高级用法 
video-analyzer path/to/video.mp4 \
    --config custom_config.json \
    --output ./custom_output \
    --client openai_api \
    --api-key your-key \
    --api-url https://openrouter.ai/api/v1 \
    --model llama3.2-vision \
    --frames-per-minute 15 \
    --duration 60 \
    --whisper-model medium \
    --keep-frames

如果想要了解更多参数说明,可以看项目说明,参数过多这里就不一一说明了。

写在最后

Video-Analyzer 是一款为视频分析场景量身打造的 AI 工具。它不仅简化了复杂的视频解析流程,还为各类应用场景提供了灵活的解决方案。

无论你是教育工作者、媒体从业者,还是科研人员、程序员,Video-Analyzer 都能为你的工作注入新的可能性。

它让我们看到了 AI 在视频内容处理方面的巨大潜力,而这只是未来应用的冰山一角。

GitHub 项目地址:github.com/byjlw/video…