001 豆包API的注册
- 访问火山方舟官网完成账号注册和服务授权
- 控制台的 API Key管理 页面中创建 API Key。
- 在控制台的 在线推理页面 中创建推理接入点,推荐使用doubao-pro-32k作为主力模型,模型部署完成后即可获得模型的base_url和model_endpoint
002 环境配置-SDK
- 安装SDK
pip install volcengine-python-sdk
pip install "volcengine-python-sdk[ark]"
2. 配置并验证API_KEY和LLM_MODELEND
右键"此电脑"<"属性"<搜索"高级系统设置"<环境变量<新建用户变量
set ARK_API_KEY="your_api_key"
set LLM_MODELEND="your_model_endpoint"
设置完成后,执行如下命令,如果返回值是你的API,说明已经成功添加到环境变量之中
echo %ARK_API_KEY%
error1-修改注册表
- 按下 Win+R ,输入 regedit 打开注册表编辑器。
- 设置
\HKEY_LOCAL_MACHINE\SYSTEM\CurrentControlSet\Control\FileSystem路径下的变量LongPathsEnabled为 1 即可。
error2-SSLE报错
关掉VPN即可。。。
003 安装LangChain
- 基本安装
LangChain的基本安装特别简单。
pip install langchain
这是安装 LangChain 的最低要求,LangChain 要与各种模型、数据存储库集成,比如说最重要的OpenAI的API接口,比如说开源大模型库HuggingFace Hub,再比如说对各种向量数据库的支持。默认情况下,是没有同时安装所需的依赖项。
也就是说,当你 pip install langchain 之后,可能还需要 pip install openai、pip install chroma(一种向量数据库)……
用下面两种方法,我们就可以在安装 LangChain 的方法时,引入大多数的依赖项。
- 安装LangChain时包括常用的开源LLM(大语言模型) 库:
pip install langchain[llms]
3. 安装完成之后,还需要更新到 LangChain 的最新版本,这样才能使用较新的工具。
pip install --upgrade langchain
004 Anoconda创建虚拟环境
- 查看当前环境
conda env list
2. 更新,防止创建环境时报错(记得先换源再更新,不然下载巨慢)
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/msys2/
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/conda-forge
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/pytorch/
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main/
conda config --set show_channel_urls yes
3. 创建虚拟环境
conda create --name bytedanceAI python=3.8
- 这表示创建python版本为3.8、名字为bytedanceAI的虚拟环境。
- 创建后,env_name文件可以在Anaconda安装目录envs文件下找到。在不指定python版本时,自动创建基于最新python版本的虚拟环境.
- 激活环境,并且查看环境中的包
conda activate bytedanceAI
conda list
005 QA系统项目代码移植
-
Embedding模型接入:juejin.cn/post/743379…
- PS:Doubao Embedding 是一款由字节跳动研发的语义向量化模型,主要面向向量检索的使用场景,支持中、英双语,最长4K 上下文长度。
-
代码移植完整代码:juejin.cn/post/743559…
- 本例使用的是豆包模型,需要引入langchain.embeddings.base中的Embeddings类以及pydantic中的BaseModel类。