langchain运行本地llm

LangChain是一个专为开发者设计的开源编程框架，旨在帮助他们利用大型语言模型（LLMs）打造各种应用。无论是聊天机器人、生成式问答系统， 还是内容摘要工具，LangChain 都能通过灵活串联多个模块的组件，使开发者能够充分发挥 LLM 的强大能力，打造出卓越的应用程序。

pip install langchain
pip install -U langchain-community

解释下langchain中各模块作用

# pip install langchain-core
 
# LangSmith SDK 由 LangChain 自动安装，单独安装
# pip install langsmith
 
# langchain-community包含第三方集成
# pip install langchain-community
 
# langgraph是一个使用 LLM 构建有状态、多参与者应用程序的库，它建立在 LangChain 之上
# pip install langgraph
 
# LangChain CLI 适用于处理 LangChain 模板和其他 LangServe 项目
# pip install langchain-cli
 
# LangServe 帮助开发人员将 LangChain 可运行对象和链部署为 REST API。LangServe 由 LangChain CLI # 自动安装。如果不使用 LangChain CLI
# pip install "langserve[all]"

前面文章讲了如何通过ollama运行llama3:8b和qwen2:7b

from langchain.prompts import PromptTemplate
from langchain.chains import LLMChain
from langchain_community.llms import Ollama

prompt_template = "请写一首关于{product}的诗，我希望是七言律诗"

ollama_llm = Ollama(model="qwen2:7b")
llm_chain = LLMChain(
    llm=ollama_llm,
    prompt=PromptTemplate.from_template(prompt_template)
)
result = llm_chain.invoke("春天")
print(result)

飞行模式下本机运行结果