langchain 学习笔记

162 阅读1分钟

1、ollama本地部署千问3模型

ollama run qwen3:0.6b

2、安装python扩展

pip install 可能超时,设置国内代理

利用豆瓣http源安装:

pip install -i https://pypi.doubanio.com/simple/ 包名  

利用清华http源安装:

pip3 install -i https://pypi.tuna.tsinghua.edu.cn/simple +包名

安装依赖

 pip install --upgrade pip setuptools
 pip install ollama langchain
 pip install langchain-community langchain-core
 pip install langchain-ollama

3、langchain 调用本地模型

from langchain_ollama import OllamaLLM  # 修改导入路径
from langchain.prompts import PromptTemplate
from langchain_core.runnables import RunnablePassthrough

# 连接到Ollama服务
llm = OllamaLLM(
    base_url="http://localhost:11434",  # Ollama默认端口
    model="qwen3:0.6b"  # 替换为你部署的千问模型名称
)

# 创建简单的问答链
template = """
问题:{question}
回答:"""

prompt = PromptTemplate(template=template, input_variables=["question"])

# 使用新的Runnable接口
# 修改Runnable接口的使用方式
qa_chain = (
    {"question": RunnablePassthrough()}
    | prompt
    | (lambda x: llm.invoke(x.to_string()))  # 修改为使用to_string()
)

# 提问
question = "什么是小六壬?"
answer = qa_chain.invoke(question)  # 直接传入question
print(f"问题:{question}\n回答:{answer}")

# 删除重复的调用
# answer = qa_chain.invoke(question)print(f"问题:{question}\n回答:{answer}")