【实操】人工智能实践：Ollama+Qwen+Langchain

如何灵活调用国产大模型

在人工智能实践过程中，涉及到如何灵活调用国产大模型，因为网络连接原因，OpenAI在国内难以连接使用，那么在实践中我们通常会使用国产大模型比如Qwen或者智普大模型来代替。

科研云服务器选择(代码中需要用到GPU)

我通常使用AutoDL来运行大模型：

1. 付费方式 ，按量计费，可以随时打开关闭服务，价格便宜；
2. 可以使用MobaXterm等工具来连接；
3. 支持JupyterLab等；
4. 可灵活选择服务器配置，灵活选择Pytorch等版本。

ollama+qwen+langchain

安装Qwen需要5分钟左右，可以使用学术资源加速提升下载速度

source /ect/network_turbo 下载Ollama curl -fsSL ollama.com/install.sh | sh 查看Ollama命令 使用ollama serve 启动ollma

安装并运行Qwen大模型

ollama官网：ollama.com/ 可以选择需要的模型。

安装qwen:0.5b-chat，5亿参数模型。

ollama run qwen:0.5b-chat 安装成功后，运行并对话 回答速度还是很快的。

langchain中调用ollama

先安装依赖包

pip install langchain pip install langchain_community

然后代开JupyterLab运行代码

代码片段如下

去博客设置页面，选择一款你喜欢的代码片高亮样式，下面展示同样高亮的 代码片.

from langchain_community.chat_models import ChatOllama
ollama_llm = ChatOllama(model="qwen:0.5b-chat")

from langchain_core.messages import HumanMessage
messages = [
    HumanMessage(content="你好，请介绍你自己")
]

messages = [
    HumanMessage(content="请问什么是机器学习？")
]

chat_model_response = ollama_llm.invoke(messages)

chat_model_response
chat_model_response.content

到这里，在langchain中就成功调用Qwen大模型了。