说来惭愧,起初萌生做这么一个项目的想法,源于我期末时那几个速通的夜晚。但是这里需要先叠个甲,需要速通并不是我因为我平时懒散哈,而是对于某些科目我认为和我自己的目标规划没有太多的联系,所以我更希望短时间高密度地掌握该科目的基础知识而不是花费一整个学期的时间。那么速通常用的方式便是上网找一些高知识密度的视频,再配合着课本的知识提纲和重点习题来复习。 但是在看视频的过程中,我发现开着倍速来看虽是快,但知识也比较容易遗忘。如果是配合着记笔记,常常需要暂停,截图什么的,效率还是不够高,于是我就在想为什么不能有这么一个工具或应用,只要贴出视频链接或者上传本地视频就可以帮我一站式搞定,甚至还能帮我形成知识体系结构呢?于是在寒假期间,我就开发了video helper: 你的视频内容学习助手。(项目地址:video-helper) 咱们先来看一下都有哪些核心功能:
🧠 智能分析流水线
整个分析过程完全自动化,无需人工干预:
- 视频下载:支持 B 站、YouTube 等主流平台链接,或直接上传本地视频
- 音频转录:集成 Whisper 模型,高精度将语音转为文字
- 内容分析:LLM 对转录文本进行结构化分析,提取知识点
- 关键帧提取:LLM 智能决策时间点,调用 FFmpeg 截取对应帧,与知识点配对展示
🗺️ 动态思维导图
生成的思维导图支持:
- 缩放 & 拖拽:自由探索知识结构
- 节点增删改:手动调整,变成你自己的学习笔记
- 双向联动:点击节点 → 自动定位到对应的重点内容模块
↔️ 内容 ↔ 视频双向跳转
这是我最满意的功能之一:
- 内容 → 视频:点击摘要中的任意知识点,视频播放器自动跳转到对应时间戳
- 导图 → 内容:点击思维导图的节点,精准定位对应内容块
这种联动让"精准复习某一个知识点"变得极其简单。
🤖 AI 问答 & 练习
- 多轮问答:基于视频全文上下文,深度解析任何疑问
- Quiz Canvas:AI 自动出题,针对视频知识点做练习,形成学习闭环
前端部分我们使用next.js搭建,当然了也支持桌面端使用(使用electron构建),但是由于我没有配置签名(因为需要money😅),所以在安装时会出现安全提示,如果大家不放心可以自行下载源码进行构建。
后端服务我们则采用python作为主力,另外使用了yt-dlp实现支持根据链接从多个平台下载视频,通过ffmpeg实现音频的提取和关键帧的截取,使用fast-whisper实现音频的转写(在这里向他们致敬🫡)。
项目架构
项目具体的架构图如下:
整体架构:
视频分析工作流:
关于使用方式,该项目支持
- 下载桌面客户端直接使用
- 使用docker进行部署
- 下载源码构建
对于上述三种部署方式的任意一种,都支持配合video-analyser-skill(video-analyser-skill) 进行使用,将视频分析能力skill化,实现在Claude Code, Antigravity等AI编辑器中也能够进行视频分析,最后通过video helper的web端/桌面端查看结果并进行进一步的交互。
以上就是我的开源项目分享啦,欢迎您来体验,有任何改进的建议可以在评论区留言或者在github中给我提issue(video-helper)。如果觉得还不错的话,可以给个star鼓励一下哦❤。