首页
AI Coding
NEW
沸点
课程
直播
活动
AI刷题
APP
插件
搜索历史
清空
创作者中心
写文章
发沸点
写笔记
写代码
草稿箱
创作灵感
查看更多
会员
登录
注册
ggml介绍
重启的码农
创建于2025-08-14
订阅专栏
ggml是一个C++开发的机器学习张量库,支持推理框架llama.cpp。我们可以通过分析学习ggml,来理解AI推理的原理。
暂无订阅
共10篇文章
创建于2025-08-14
订阅专栏
默认顺序
默认顺序
最早发布
最新发布
ggml介绍 (9) 后端调度器 (ggml_backend_sched)
在本章中,我们认识了 `ggml` 的“厨房总管”——**后端调度器 (`ggml_backend_sched`)**,介绍了后端调度器的功能目标-即在调度运行多个后端。
ggml介绍 (8) 图分配器 (ggml_gallocr)
在本章中,我们认识了 `ggml` 中强大的内存规划专家——**图分配器 (`ggml_gallocr`)**,结合代码和图介绍了ggml_gallocr的工作原理。
ggml介绍 (7)后端缓冲区 (ggml_backend_buffer)
在本章中,我们深入了解了 `ggml` 的内存管理基石——**后端缓冲区**。并通过cpu缓冲区、gpu缓冲区对比,结合代码介绍了不同缓冲区的使用方法。
ggml 介绍 (6) 后端 (ggml_backend)
在本章中,我们认识了 `ggml` 的“大厨”——**后端 (ggml_backend)**,结合代码和示意图讲解了不同ggml_backend的工作过程。
ggml 介绍(5) GGUF 上下文 (gguf_context)
在本章中,我们探索了 `ggml` 生态系统的文件格式标准 GGUF,以及与之交互的工具 `gguf_context`。
ggml 介绍(4) 计算图 (ggml_cgraph)
在本章中,我们学习了 `ggml` 的执行核心——**计算图 (ggml_cgraph)**,结合代码样例和图示,讲解了计算图的构建过程。
ggml介绍 (3) 上下文 (ggml_context)
在本章中,我们介绍 `ggml` 的内存大管家——**上下文 (ggml_context)**,通过图、代码结合,揭示ggml_context的高效内存管理方法。
ggml介绍 (2) 量化 (Quantization)
在本章中,我们介绍了 `ggml` 高效运行大型模型的关键方法——**量化**,结合图、代码讲解了ggml量化的过程。
ggml介绍 (1) 张量 (ggml_tensor)
本章中我们将探索 ggml 的核心概念,张量(Tensor),为什么我们需要它? 它是怎么表达的,为什么选择这样来表达。
ggml (0)整体介绍
ggml 是一个为机器学习设计的张量库。它的核心思想是使用计算图来表示对多维数组(即“张量”)的一系列操作。通过抽象的后端系统,它可以在各种硬件(如 CPU 和 GPU)上高效运行。