系统安装和快速入门-day1(尝试了一下langchain调用llama)
基础:0python基础,大一捣鼓了一年多市场营销活动策划的工科大二学生
深度用过GPT、coze
LangChain本质上就是对各种大模型提供的API的套壳,是为了方便我们使用这些API,搭建起来的一些框架、模块和接口。
我的理解:
高代码的形式去建立一个工作流
对应的低代码的形式就是coze
langchain也只是一个框架,像prompt一样可以用来连接各种模块的的一个工具,还有很多又专门的应用场景的框架
也就是说这门课的重点
1熟练运营langchain来实现一些定制化的AI应用
2理解langchain的底层逻辑,自己编写更定制化的API调用架构
这样看不算是特别的难
所以想挑战一下,全都本地运行,体验一下环境配置的痛苦,电脑实在撑不住再找云服务器
先有一个自己的gptapikey
(魔法和虚拟银行卡需要自行解决)(或者直接国内平替,就是接口代码形式可能要改一下,ai一下就好了)
day1目标:本地实现langchain调用openai_api
通过两个差不多的模型来对比一下调用方式和要求的输入格式的不一样
Chat Model,聊天模型
Text Model,文本模型
Text Model,文本模型
【遇到的问题】
vscode的output竟然不支持,会出现乱码
要到终端运行py文件才可以正确编码
我用的是单独建一个.env文件进行api的调用
黄色高亮快指的是:通过代码指令,来对返回结果进行控制
import os
from dotenv import load_dotenv
from openai import OpenAI
# 加载 .env 文件
load_dotenv()
# 获取 API_KEY
api_key = os.getenv("API_KEY")
# 使用 api_key
print(api_key)
client = OpenAI()
response = client.completions.create(
model="gpt-3.5-turbo-instruct",
temperature=0.5,
max_tokens=100,
prompt="请给我介绍一位古代名人")
print(response) # 查看完整响应
result_text = response.choices[0].text.strip()
print(result_text.encode('utf-8').decode('utf-8'))
【学习感悟】
有的指令我没见过是真不知道对话模型训练的时候是付出了多大的努力来控制准确性
Chat Model,聊天模型
response = client.chat.completions.create(
model="gpt-4",
messages=[
{"role": "system", "content": "你是一个很棒的智能助手."},
{"role": "user", "content": "请给我的花店起个名"},
],
temperature=0.8,
max_tokens=60
)
print(response.choices[0].message.content)
到messages这块就明显感觉到这就是我平时用的gpt4chat模型了,就不是刚才的text模型
【遇到的问题】
区分获取与打印,
要获取模型的回复,可使用
获取: response['choices'][0]['message']['content']。
打印:print(response.choices[0].message.content)
【理解】
一个既可以管理历史对话,也可以提前角色模拟
一个是直接的单轮文本生成任务
使用langchain框架进行调用
【遇到问题】
本地运行时
No module named 'langchain_community'
为什么我更新了还是缺,可能这是一个单独的模块吧,或者新出的
【实践结果】
成功了
gpt4甚至给了好几个选项,虽然但是这都是现在大模型的基本功了,但还是没有对比就没有伤害
也难怪3.5现在在对话窗口选都选不了了
延伸学习
用LangChain调用本地 大模型
之前Llama3.1刚出的时候我就想在本地玩一玩,忘了当时因为什么搁置了
没想到啊,现在都3.2了
额,为什么huggingface的meta官方仓库不让我下载
我还要找一个不认识的好心人下载
全都下载嘿嘿
【全是问题】
额,下载完了怎么使用啊喂
GPT说要用Ollama的CLI?什么鬼,
额,我要怎么看如果我想要调用本地的llama模型要用什么样的接口代码
额,换个教程看,先不看ollama的微调训练了
先看怎么使用
用langchain搭配最新模型ollama打造属于自己的gptlangchain 前段时间去玩了一下langchain - 掘金
额,我一点后端都不懂啊喂
他这个直接干到部署应用去了,我就想用langchain的py实现一下调用就行啊
还是来官网下载吧
额,这个下载有点小慢,先放在这下载,我去刷几道题
下完了
我刷题页面还没加载出来。大家评论区猜猜,用了多久,都挺慢的,这两个彼此彼此
睡了,明天再说