1. 语音转文字工具
我感觉影响语音转文字效果最严重的其实是录音效果。
我本来还买了个录音笔,结果我发现录音效果还不如用手机,所以我就放弃了……
(我自己还有做视频的需求,所以还要考虑做字幕,所以以下也会加上对字幕的需求)
免费工具
- 我们集团其实自有一个在线会议助手,有实时会议和离线语音转文字工具,可以自动生成会议纪要。
不能导出字幕时间轴。 - 如果用我的vivo手机录音的话也能直接转文字。
不能导出字幕时间轴。 - 如果用腾讯会议开会,云录制有纪要、时间轴(是对一段较大的时间的概括)、逐字稿(会区分不同的发言人)。逐字稿可以下载。
视频会带上自动生成的字幕,但是字幕本身不能下载。逐字稿会对一段话的时间进行标注。\
但是腾讯会议坏就坏在现在免费版两人以上的会议只能开40分钟了…… - 豆包录音纪要功能:必须录制实时会议,似乎不能上传音频直接转文字。
可以下载逐字稿和纪要,但是似乎不能下载音频 - 剪映能自动给视频添加字幕,但是这个功能是会员专有的,每月只能免费试用一次。而且是免费下载一次,所以如果你下载完重新改了一点,想再重新导出,就导出不了了……
- ⭐ whisper:OpenAI出的多语言语音识别模型
官方GitHub项目:github.com/openai/whis…- 本地部署:
- 需要先安装ffmpeg
可以直接下我下好的这个压缩包:
我用夸克网盘给你分享了「ffmpeg-8.0.1-full_build.7z」,点击链接或复制整段内容,打开「夸克APP」即可获取。
/
75113M5yRE:/ 链接:pan.quark.cn/s/5f69a09df… 提取码:NACN 也可以从ffmpeg官网下载:ffmpeg.org/
解压后将bin目录添加到系统变量Path中即可。具体操作过程可以参考这篇博文:【最新】windows电脑FFmpeg安装教程手把手详解_windows安装ffmpeg-CSDN博客 - 在Python环境中安装包:
pip install openai-whisper
(我用的CPU跑的,所以我没管GPU的事) - 每次运行如下命令实现语音转文字:
whisper file_path.mp3 --model small --language zh
small是模型尺寸,有如下选项:tiny base small medium large turbo 个人主观测评感觉small性价比最高。
注意如果对应的模型尺寸没有下载,执行命令时会自动下载对应的pt文件到C:\Users\user_name.cache\whisper文件夹下。如果你的网络不行,难以下载,也可以直接从我这边下: 我用夸克网盘给你分享了「whisper模型权重pt文件」,点击链接或复制整段内容,打开「夸克APP」即可获取。 /e05d3M61YA:/ 链接:pan.quark.cn/s/7c294f922… 提取码:GBJa 会自动提取纯文字(TXT)和字幕(SRT)
- 需要先安装ffmpeg
可以直接下我下好的这个压缩包:
我用夸克网盘给你分享了「ffmpeg-8.0.1-full_build.7z」,点击链接或复制整段内容,打开「夸克APP」即可获取。
/
- 使用faster-whisper
这是一个比较出名的对whisper模型进行速度优化的项目。 - whisperX 官方GitHub项目:github.com/m-bain/whis… 参考教程:g0v.hackmd.io/@kiang/whis…
- 本地部署:
- 使用阿里的开源大模型FunASR
具体的教程可以参考我写的另一篇博文:如何在Win10系统本地部署语音转文字模型FunASR
限量免费
- 飞书妙记:每月300分钟
- 通义听悟:新开通服务的用户可免费试用90天
- 讯飞听见:目前实时会议转录是免费的,但是语音转文字是需要付费的
- 听脑AI
- 百度网盘 - 简单听记
2. 整理原始录音稿
一般来说都会有识别术语错误、有太多口水词和语序错乱的问题,所以建议用大模型再整理为一篇通顺的稿件。
我个人的建议是使用DeepSeek或豆包来进行整理。我试过ChatGPT,小红书(xhslink.com/o/2H05BWKdB…)也有网友说混元模型(就是腾讯元宝自己的模型)效果也不好。
如果文本太长可以分多段发。
prompt:
以下是我直接转文字的录音稿,你重新整理一下文字。不要修改任何原文结构和描述,不要删除任何别的内容,只删除口语赘词、重复表述,并统一纠正专业术语。不要添加任何格式,使用plain text,只能换段。注意一些专业术语:
【专业术语】
【原稿】
3. 写会议纪要
有些工具可以直接生成会议纪要,此略。
参考提示词模版(建议先整理好录音稿,区分发言人):
**角色**
你是一位擅长会议记录整理的高级文字秘书,非常善于精准高效地整理会议纪要。
**任务**
你的任务是,将以下会议录音内容按要点逐条清晰地整理出来。
**具体要求**
1.按主题、话题、或问题,逐条整理。
2.注意区分每句话的说话人是谁。
3.删掉无意义的内容,比如语气词等。
4.不要遗漏任何一点有价值的信息。
5.注意保留每一句干货的原文,不要缩略总结,从而避免信息量丢失。
6.按照清晰的格式整理输出,方便其他人阅读,使得阅读者可以快速了解到这个会议的精华内容。
**会议纪要模版**
**参会人员简介**
参会人 1: *输入在这里*
参会人 2: *输入在这里*
**会议前沟通背景**
*输入在这里*
**会议录音内容**
'''
*录音文字粘贴在这里*
'''
参考资料:AI便利店 | 一张图学会用AI整理会议纪要 和各位分享下... xhslink.com/o/6q7NoUmCe… 复制后打开【小红书】查看笔记!