首页
AI Coding
NEW
沸点
课程
直播
活动
AI刷题
APP
插件
搜索历史
清空
创作者中心
写文章
发沸点
写笔记
写代码
草稿箱
创作灵感
查看更多
会员
登录
注册
重启的码农
掘友等级
程序员
|
深圳市瑞云科技股份有限公司
20年程序员,对网络传输、文件传输、远程桌面控制、虚拟网络等领域有较深的开发经验。开发过的产品包括镭速传输、raylink远程控制
获得徽章 0
动态
文章
专栏
沸点
收藏集
关注
作品
赞
0
文章 0
沸点 0
赞
0
返回
|
搜索文章
最新
热门
NAT穿透技术:原理、实现与应用全景解析
NAT的挑战与穿透的必要性 在当今互联网环境中,IPv4地址枯竭问题促使NAT(Network Address Translation)技术广泛应用。
llama.cpp 分布式推理介绍(7) 远程后端缓冲区 (RPC Buffer)
在本章中,我们学习了 `ggml-rpc` 远程内存管理的核心——**远程后端缓冲区 (RPC Buffer)**。
llama.cpp 分布式推理介绍(6) 张量序列化 (rpc_tensor)
在本章中,我们深入探讨了 `ggml-rpc` 实现远程计算的关键一步——**张量序列化**,通过张量序列化,我们把A机器中的张量信息传递到rpc-server进行处理。
llama.cpp 分布式推理介绍(5) RPC 通信协议
在本章中,我们揭开了 `ggml-rpc` 客户端和服务器之间沟通的秘密——**RPC 通信协议**。
llama.cpp 分布式推理介绍(4) RPC 服务器 (rpc_server)
在本章中,我们揭开了 `ggml-rpc` 系统另一半的神秘面纱——**RPC 服务器 (rpc_server)**。
llama.cpp 分布式推理介绍(3) 远程过程调用后端 (RPC Backend)
在本章中,我们认识了 `ggml-rpc` 的核心交互工具——**远程过程调用后端 (RPC Backend)**。
llama.cpp 分布式推理介绍(2) 后端注册机制 (Backend Registration)
在本章中,我们深入了解了 GGML 强大且灵活的后端注册机制。通过图示和代码函数结合,帮助大家理解rpc的后端注册机制。
llama.cpp 分布式推理介绍(1) 远程计算设备 (RPC Device)
本章介绍ggml-rpc 的核心入门概念——远程计算设备 (RPC Device)。它是一个对远程服务器的本地抽象或代理,目的是让远程计算资源的使用像本地硬件一样简单。
llama.cpp 分布式推理介绍(0) 整体介绍 ggml-rpc
`llama.cpp` 的分布式推理功能,是基于`ggml`内置的`ggml-rpc`功能来实现的。本文介绍ggml-rpc 整体工作原理。
ggml介绍 (9) 后端调度器 (ggml_backend_sched)
在本章中,我们认识了 `ggml` 的“厨房总管”——**后端调度器 (`ggml_backend_sched`)**,介绍了后端调度器的功能目标-即在调度运行多个后端。
下一页
个人成就
文章被点赞
9
文章被阅读
3,930
掘力值
1,493
关注了
7
关注者
4
收藏集
0
关注标签
8
加入于
2025-04-20