1、ollama本地部署千问3模型
ollama run qwen3:0.6b
2、安装python扩展
pip install 可能超时,设置国内代理
利用豆瓣http源安装:
pip install -i https://pypi.doubanio.com/simple/ 包名
利用清华http源安装:
pip3 install -i https://pypi.tuna.tsinghua.edu.cn/simple +包名
安装依赖
pip install --upgrade pip setuptools
pip install ollama langchain
pip install langchain-community langchain-core
pip install langchain-ollama
3、langchain 调用本地模型
from langchain_ollama import OllamaLLM
from langchain.prompts import PromptTemplate
from langchain_core.runnables import RunnablePassthrough
llm = OllamaLLM(
base_url="http://localhost:11434",
model="qwen3:0.6b"
)
template = """
问题:{question}
回答:"""
prompt = PromptTemplate(template=template, input_variables=["question"])
qa_chain = (
{"question": RunnablePassthrough()}
| prompt
| (lambda x: llm.invoke(x.to_string()))
)
question = "什么是小六壬?"
answer = qa_chain.invoke(question)
print(f"问题:{question}\n回答:{answer}")