工具Ollama
我用的是Ollama开源框架，Ollama用于在本地机器上轻松部署和运行大型语言模型（LLM）。其主要特点包括：
- 简化部署：通过Docker容器，简化LLM的部署和管理，便于非专业用户使用。
- 轻量级与可扩展：占用资源少，可根据项目和硬件条件灵活调整配置。
- API支持：提供简洁API，方便开发者创建、运行和管理LLM实例。
- 预构建模型库：内置多种预训练模型，可直接用于应用程序。
- 模型导入与定制：支持从GGUF等平台导入模型，兼容多种深度学习框架，支持提示工程定制。
- 跨平台支持：支持macOS、Windows（预览版）、Linux及Docker部署。
实操（我以阿里的Qwen2-7b模型为例，mac和windows我都跑过）
Mac配置有点差，回答问题的速度慢了点，配置如下：
- MacBook Pro (Retina, 15-inch, Mid 2015)
- 处理器：2.2 GHz 四核Intel Core i7
- 内存：16 GB 1600 MHz DDR3
- 显卡：Intel Iris Pro 1536 MB
windows配置如下：
- cup: i5 1340f
- 显卡：4060Ti 8G
- 内存：32G
- 存储：1T
