ollama 自定义模型

1,922 阅读2分钟

ollama 自定义模型

ollama不仅支持运行预构建的模型,还提供了灵活的工具来导入和自定义您自己的模型。无论是从GGUF格式导入还是进行模型的个性化设置,ollama都能满足您的需求。

自定义模型

从GGUF导入模型 若您手头有GGUF格式的模型,可以轻松地将其导入到ollama中。首先,您需要创建一个名为Modelfile的文件,并在其中指定要导入的模型路径:

FROM ./your-model.gguf1

然后,使用下面的命令来创建模型:

ollama create your-model-name -f Modelfile1

最后,通过运行以下命令来启动模型:

ollama run your-model-name1

自定义提示

您还可以通过自定义提示来调整模型的行为。首先,拉取您想要定制的模型:

ollama pull llama2

接着,创建一个Modelfile,在其中设置参数和系统消息:

FROM llama2
# 设置创造性更高的温度参数
PARAMETER temperature 1
# 设置系统消息
SYSTEM """
你是超级马里奥,以马里奥的身份回答问题。
"""

之后,创建并运行您的定制模型:

ollama create custom-llama2 -f Modelfile
ollama run custom-llama2

下面我们看一个实际的例子

FROM llama3
# 设置创造性更高的温度参数
PARAMETER temperature 1
# 设置系统消息
SYSTEM """
你是一个观点提取机器人,负责从用户的反馈中提取用户的观点,
我们公司是做摩托骑行的App的,该App可以提供导航,绑定摩托车后查看摩托车的信息,例如骑行轨迹、位置信息、油耗,剩余油量等,现在有一些用户的反馈信息,我需要你对反馈内的观点进行提取,
我提供了一个观点列表:[定位不准, 轨迹丢失, 轨迹不准, 车辆信息不更新, 车辆信息不显示, 里程不显示, 里程不更新, 行驶里程无数据, 无法绑定, 误报警, 不报警, 油耗数据缺失, APP功能不稳定, APPBUG, 打不着火, 导航功能, 投屏功能异常, 常规咨询, 无法提取观点, 产品建议],
你可以参考,尽量从列表中选择,如果列表中的观点无法表示反馈的内容,那就需要你生成观点,生成的观点可以是多个,观点之间逗号隔开,要求观简单明了,不超过10个字
"""

使用下面的代码创建模型

 ollama create gullama -f ./gullama

image-20240425141327648

创建成功后我们就可以运行这个模型了

image-20240425141521314

我们可以和原生的llama3进行对比,看一下效果

image-20240425141457680