要想发挥JBoltAI的真正实力🎯, 请持续关注我们向量空间🤩😚~
Hello, 亲爱的小伙伴们, 今天给dajia带来的是, 如何部署自己的embedding服务, 并且在JBoltAI中部署使用使用 下面开始介绍,
1. 私有部署embedidng服务
mkdir /app/embedding/model
# 下载embedding model到/app/embedding/model
# 模型下载地址, 留在了文章的最下方哦~
# 创建app.py, 代码如下
app.py 代码
from flask import Flask, jsonify, request
from sentence_transformers import SentenceTransformer
app = Flask(__name__)
path = "/app/embedding/model"
model = SentenceTransformer(path)
@app.route('/api/embedding',methods=["GET","POST"])
def embedding():
data = request.get_json()
messages = data["data"]
result = model.encode(messages, normalize_embeddings=True)
return jsonify(result.tolist())
if __name__ == '__main__':
app.run(port=6006)
构建自启动脚本
# 进入路径
cd /app/embedding
# 创建脚本
touch startup.sh
# 权限
chmod 777 startup.sh
# 编辑
vim startup.sh
# 添加如下代码:
#!/bin/bash
BASE_PATH="/app/embedding"
ENV_PATH=$BASE_PATH"/env"
source $ENV_PATH/bin/activate
python3 $BASE_PATH"/app.py"
构建自启动服务
# 进入路径
cd /etc/systemd/system/
# 创建服务
touch embedding.service
# 权限
chmod 777 embedding.service
# 编辑
vim embedding.service
# 添加如下代码:
[Unit]
Description=Embedding App
[Service]
ExecStart=/app/embedding/startup.sh
[Install]
WantedBy=default.target
# 重新加载配置
systemctl daemon-reload
# 设置为自启动
systemctl enable embedding.service
