端侧AI老谢

上一篇文章完成了llama.cpp Android的编译和相关so的加载，这一篇文章基于so加载的基础上，实现大模型的加载，目的是将量化后的模型在手机上运行起来。 1. K...

之前文章有说到几种模型加载的方式： 方式1： 本地PC上 ollama可以直接跑未量化的.bin/.safetensors 大模型 比如：ollama run qwen:3...

为什么必须把原始模型转成 GGUF，才能用 llama.cpp 跑? 原始模型（HuggingFace 下载的那种）： 格式：.bin / .safetensors 框架：...

AI的大模型部署主要有云端、PC 本地、手机端侧 三大场景。 *** 云端大模型（在线 API / 网页，最强能力）** *** PC 本地大模型（Windows/macO...

本文含踩坑记录，含可运行代码，整个过程耗时一天完成。 端侧AI 模型部署(Windows/TFLite/Android Studio )实战...

# 什么是端侧AI？什么是局域网+端侧AI？普通创业者必看 2026年，AI行业彻底告别“云端内卷”，从遥不可及的服务器集群，走进了手机、智能硬件、工业终端甚至小众设备里—...

从零到一，手把手带你完成端侧 AI 推理加速，看完就能落地 一、前言 现在移动端 AI 已经从 “锦上添花” 变成了 “标配能力”。不管是图像识别、目标检测、语音处理还是生...