langchain 使用chatglm3-6b

为什么写这篇文章,我也是想用llm批量分析财报,首选肯定chatgpt,一篇财报上万字起步,5美刀经不起造,后来又用智谱AI的chatglm4的key,500w token全部让我造完,才分析完100篇财报,脑壳大,所以还是私有化部署,调用1个小时才2两块 为什么用langchain?喜欢里面的提示模板和输出解析器,主要是输出解析器,结构化输出才能保证我遍历,不然让我一直用python的requests? 好好好,嫌我烦,话不多说,上干货

1. 部署chatglm3-6b

打开autodl后选择这个镜像,其他的可能会出错,机器配置3090+差不多了,高了浪费钱

2. 部署api 打开一个终端 运行 bash /root/ChatGLM3/openai_api_demo/one.sh

完事! 3. 转发api服务到本地电脑 先复制这个

打开cmd

再把那个密码复制过来,现在本地6006端口就有chatglm的api服务了! 4. 写代码 先说下 from langchain_community.llms import ChatGLM 简直就是个垃圾,用不了,不信你试试,你试,你试,俺走了很多很多弯路才琢磨出来,直接上代码

from langchain.chat_models import ChatOpenAI
openai_api_base = "http://127.0.0.1:6006/v1"
llm = ChatOpenAI(
                model="chatglm3-6b",
                 openai_api_base=openai_api_base)
llm.invoke("你好,你有对象嘛")

想知道chatglm3代有没有对象? 叫哥,叫哥就告诉你

另外,在使用过程中,可能会有bug,会提示没有timeout,给了也没用,对,你没有听错,给了也没用,简直是垃圾,不知道这个bug会不会在新版修复,注释下101行就行

好的,谢谢大家能听我废话,希望能帮你解决问题,自己淋过雨,不想别人身上湿