基于ollama搭建本地大模型

• 效果图

下载安装ollama

官网地址：ollama.com/

选择适合自己的系统

win直接安装即可，linux运行以下命令

curl -fsSL https://ollama.com/install.sh | sh

win环境配置，增加环境变量

1. 增加host变量

2. 更改模型位置配置（可选）

建议使用默认位置，即

C:\Users{用户}.ollama\models

如果安装到其余盘符，则会产生大量的磁盘IO，影响生成速度。

3. 环境变量增加完成后记得重启ollama

运行模型

选择合适的模型运行对应的命令

如

ollama run gemma:2b

则会自动下载模型到本地，下载完成浏览器访问localhost:11434出现如下信息说明安装完成

chat界面

• 项目地址：github.com/fmaclen/hol…

• 运行环境需要node版本 > 18

• 下载之后当前目录执行npm install安装依赖

  • 想要本地build，则需要将svelte.config.js中的adapter替换为2中的内容。对当前框架不熟悉，仅知道这样可以构建和启动

const config = {
    // Consult https://kit.svelte.dev/docs/integrations#preprocessors
    // for more information about preprocessors
    preprocess: [vitePreprocess({})],
​
    kit: {
        // adapter-auto only supports some environments, see https://kit.svelte.dev/docs/adapter-auto for a list.
        // If your environment is not supported or you settled on a specific environment, switch out the adapter.
        // See https://kit.svelte.dev/docs/adapters for more information about adapters.
        // adapter: process.env.ADAPTER === 'docker-node' ?
        //  adapterNode(adapterConfig) :
        //  adapterCloudflare(adapterConfig)
        adapter: adapter({
            // default options are shown
            out: 'build',
            precompress: false,
            envPrefix: '',
            polyfill: true
        })
    }
};

• 之后执行npm run build就可以生成build目录
• 执行node build命令，可以看到

• 浏览器输入localhost:3000即可打开chat界面

选择之后点击new session即可对话，注意历史记录依赖于浏览器的缓存

嗯，然后CPU就爆了

补充

ollama支持的模型列表

ollama集成到vscode

vscode安装llama coder插件

设置本地地址，选择对应模型，会自动进行下载