端侧AI老谢

上一篇文章完成了llama.cpp Android的编译和相关so的加载，这一篇文章基于so加载的基础上，实现大模型的加载，目的是将量化后的模型在手机上运行起来。 1. Kotlin 桥接类：Llam

之前文章有说到几种模型加载的方式： 方式1： 本地PC上 ollama可以直接跑未量化的.bin/.safetensors 大模型 比如：ollama run qwen:3.5-4b-instruct

为什么必须把原始模型转成 GGUF，才能用 llama.cpp 跑? 原始模型（HuggingFace 下载的那种）： 格式：.bin / .safetensors 框架：PyTorch 结构：为训练

AI的大模型部署主要有云端、PC 本地、手机端侧 三大场景。 *** 云端大模型（在线 API / 网页，最强能力）** *** PC 本地大模型（Windows/macOS，GGUF 优先）** *

本文含踩坑记录，含可运行代码，整个过程耗时一天完成。 端侧AI 模型部署(Windows/TFLite/Android Studio )实战

# 什么是端侧AI？什么是局域网+端侧AI？普通创业者必看 2026年，AI行业彻底告别“云端内卷”，从遥不可及的服务器集群，走进了手机、智能硬件、工业终端甚至小众设备里——端侧AI，以及在此基础上延