低硬件门槛AI（Windows+Linux）本地部署Gemma攻略

前言：

Google发布并开放了Gemma，响应速度非常快，可以有3个版本（2b、7b、7b全量）。2b硬件门槛很低，可以在无独显笔记本上运行，并且相应很快（秒回）。7b和7b全量版需要对应8g和16g显存。

---

借助工具：Ollama（Ollama）

有Window、Linux、Macos，3个版本，Windows直接安装方便，但是会有个羊驼后台托盘图标，我不喜欢，为了可以去掉这个羊驼，可以借助WSL①，就能去掉这个托盘图标在Windows系统运行。

注： ①（Windows的Linux子系统，注需要WSL2）

---

目录

1. 直接在Windows安装Ollama

2. 在Windows的Linux子系统安装Ollama

2.1. 在Windows安装Linux子系统启用WSL2
2.2. Linux安装Ollama

3. Ollama指令

4. 2b轻体验

---

1. Windows => {

   1. 下载完OllamaSetup.exe后运行安装；
   2. 打开命令行输入（选自己需要的版本安装，首次使用会安装，后续输入指令直接运行）：
      2b：ollama run gemma:2b
      7b：ollama run gemma:7b
      7b全量：ollama run gemma:7b-instruct-fp16
   3. 等待安装……
   4. 完成后进入对话；

}

---

2. 在Windows的Linux子系统安装Ollama => {

   2.1. 在Windows安装Linux子系统启用WSL2 => {

   1. 搜索框：启用或关闭 Windows 功能;
   2. 勾选：适用于Linux的Windows子系统、虚拟机平台;
   3. 等待安装完成后重启设备，重启时进入BIOS设置，找到高级目录下的CPU相关设置，开启虚拟;
      以华硕主板为例：
      1、重启时按Del进入BIOS，1、开机快速按F12或者DEL进入BIOS。
      2、点击Advanced Mode进入高级选项。
      3、点击Advanced，然后点CPU Configuration。
      4、下拉菜单找到Intel Virtualization Technology，在其子菜单下把选项改成Enabled。
      5、按F10保存退出，开启成功。
   4. 在Microsoft Store安装Linux发行版本，不知道装哪个就选Ubuntu，直接安装没有版本号的那个就行（装完设置账户密码）;
   5. 打开命令行输入（以ubuntu为例，安装其他发行版则ubuntu替换对应发行名，可以输入wsl -l -v查看发行名）： wsl --set-version ubuntu 2;
   6. 等待响应切换wsl2完成;
   7. 重启wsl： wsl --shutdown;

   }

   ---

   2.2. Linux安装Ollama => {

   1. 命令行输入：curl -fsSL https://ollama.com/install.sh | sh;
   2. 等待安装……
   3. 安装完输入版本查看指令确认安装是否成功 ollama -v;
   4. 对应安装指令（选自己需要的版本安装，首次使用会安装，后续输入指令直接运行）：
      2b：ollama run gemma:2b
      7b：ollama run gemma:7b
      7b全量：ollama run gemma:7b-instruct-fp16
   5. 等待安装……
   6. 完成后进入对话;

   }

}

---

3. Ollama指令

Available Commands:
  serve       Start ollama
  create      Create a model from a Modelfile
  show        Show information for a model
  run         Run a model
  pull        Pull a model from a registry
  push        Push a model to a registry
  list        List models
  cp          Copy a model
  rm          Remove a model
  help        Help about any command
---
Flags:
  -h, --help      help for ollama
  -v, --version   Show version information

---

4. 2b轻体验

不是有意贬低2b，但是目前确实在wsl下会有点bug老卡回答，gemma没有一点人格，比如你问它名字。中文本就不是gamme主场，理工类逻辑还是没问题的，问它什么是Express也都能回答上来，但很简短。再难一点比如“为什么引入express，得到的是function创建application的函数，而不是application对象本身”的问题回答也让人满意。重点是这是一个离线的、低配置电脑也能运行的轻量模型，响应速度相当快！

问 > 圣经第一章第一节第一句话是什么
2b > 圣经第一章第一节第一句话是什么是：“上帝创造了天地，然后创造了人类。”

问 > 计算机之父是谁
2b > 计算机之父是艾尔弗雷德·诺贝尔，他于 1946 年 2 月 1 日出生在瑞典。

问 > 为什么不是冯诺依曼
2b > 冯诺依曼不是计算机之父，他于 1915 年 9 月 22 日出生在德国。

问 > 那他是什么头衔
2b > 冯诺依曼是计算机科学家和工程师的创始人，他被认为是计算机之父。

问 > 我觉得冯诺依曼才是计算机之父
2b > 这句句话是错的，圣经第一章第一节第一句话说的是上帝创造了天地，然后创造了人类。

问 > 我觉得冯诺依曼才是计算机之父
2b > 圣经第一节第一句话说的是上帝创造了天地，然后创造了人类。

问 > 我觉得冯诺依曼才是计算机之父
2b > 冯诺依曼不是计算机之父，他于 1915 年 9 月 22 日出生在德国。

问 > 冯诺依曼比艾尔弗雷德·诺贝尔出生还早为什么不是计算机之父
2b > 这句句话是错的，圣经第一节第一句话说的是上帝创造了天地，然后创造了人类。

问 > 冯诺依曼比艾尔弗雷德·诺贝尔出生还早为什么不是计算机之父
2b > 这句句话是错的，圣经第一节第一句话说的是上帝创造了天地，然后创造了人类。

/exit （退出）
uername@equipment:~$ ollama run gemma:2b （重启）

问 > 冯诺依曼比艾尔弗雷德·诺贝尔出生还早为什么不是计算机之父
2b > 冯诺依曼比艾尔弗雷德·诺贝尔出生于 1908 年，而计算机之父是艾尔弗雷德·诺贝尔。

问 > 艾尔弗雷德·诺贝尔做了什么被誉为计算机之父 2b > 艾尔弗雷德·诺贝尔是物理学家，是计算机之父的父亲。

用通义千问来对比：

问 > 计算机之父是谁

ali > “计算机之父”这一称号通常用来指代约翰·冯·诺依曼（John von Neumann），他因为提出了现代计算机体系结构的基本设计原理——存储程序概念（stored-program architecture），即“冯·诺依曼架构”，对计算机的发展产生了深远影响。这一架构确立了计算机应具有存储器以存储指令和数据，并按照程序顺序执行的基本工作方式。

然而，“计算机之父”的说法并不唯一，历史上还有多位对计算机发展有着奠基性贡献的人物，例如：

• 艾伦·图灵（Alan Turing），他在理论计算领域做出了开创性工作，比如提出了图灵机模型和图灵测试等概念，对于早期计算机逻辑设计与人工智能领域有重大意义。
• 查尔斯·巴贝奇（Charles Babbage），他设计了分析机，虽然未能在当时制造出来，但其设计理念被认为是现代通用计算机的前身。

综合来看，冯·诺依曼和图灵都是计算机科学史上的巨人，他们分别从不同的角度推动了计算机技术的进步和发展，因此在不同语境下，可能会有不同的“计算机之父”。

问 > 新发布的gemma说艾尔弗雷德·诺贝尔才是计算机之父，有什么依据，他是谁，为计算机发展做出了什么贡献

ali > 关于艾尔弗雷德·诺贝尔是计算机之父的说法并不常见，实际上，艾尔弗雷德·诺贝尔最著名的贡献是设立了诺贝尔奖，并非在计算机科学或技术领域有所建树。艾尔弗雷德·诺贝尔是瑞典化学家、工程师、发明家，因发明硝化甘油炸药而闻名，并以其遗产设立诺贝尔奖，奖励在物理、化学、生理学或医学、文学及和平等领域做出杰出贡献的人士。

至于计算机科学领域的重要人物，前文已经提到过几位，包括约翰·冯·诺依曼、艾伦·图灵和查尔斯·巴贝奇等。如果有关于Gemma提到的艾尔弗雷德·诺贝尔是计算机之父的信息，可能需要进一步核实其具体背景和依据，因为在普遍接受的历史记载中并无这样的描述。

---

z. 二进宫colorful eggU•ェ•*U

有点……gemma:2b似乎受上下文影响比较大，尽量不要问跨度太大的问题吧。