大家好,我是熊哥!2025年8月5日,ChatGPT开源了20B和120B两个大模型,采用Apache 2.0许可,开发者可自由训练和部署。我在Threadripper 3960X主机上测试了本地部署,分享经验给想尝试AI开发的朋友,知乎干货来啦!
模型亮点
-
开源模型:20B轻量,120B性能媲美o4 mini,支持128K上下文,覆盖网页搜索、代码生成和CoT结构化输出,推理强度可调。
-
灵活部署:支持Hugging Face、Ollama和Llama.cpp,断网运行安全,适合企业本地化和边缘设备。
-
性能表现:120B在数学、医学、编程任务上优于o3 mini,接近o4 mini,多任务评估亮眼。
部署步骤
官方文档繁琐,我直接把内容丢进大模型,生成Markdown格式,再导入思维导图整理重点。部署方法:
-
下载Ollama(支持Windows/Mac/Linux),安装后启动。
-
用AIStarter市场更新Ollama到0.11.3,复制新版文件到项目目录(如Products/Ollama)。
-
下载20B或120B模型,配置路径一键运行,旧版可自定义关联模型目录。
小建议
-
模型选择:20B适合快速验证,120B应对复杂场景。
-
本地化优势:断网安全,AIStarter一键管理省心。
-
硬件优化:高性能CPU如Threadripper 3960X是关键,内存越大越好。
想看详细对比?查官方文档!开发者们,欢迎评论分享你的AI模型部署经验,一起探讨开源大模型的玩法!