RPC
80篇文章 · 0订阅
  • llama.cpp 分布式推理介绍(7) 远程后端缓冲区 (RPC Buffer)
    在本章中，我们学习了 `ggml-rpc` 远程内存管理的核心——**远程后端缓冲区 (RPC Buffer)**。
    C++ 人工智能 神经网络
  • llama.cpp 分布式推理介绍(6) 张量序列化 (rpc_tensor)
    在本章中，我们深入探讨了 `ggml-rpc` 实现远程计算的关键一步——**张量序列化**，通过张量序列化，我们把A机器中的张量信息传递到rpc-server进行处理。
    C++ 神经网络 人工智能
  • llama.cpp 分布式推理介绍(5) RPC 通信协议
    在本章中，我们揭开了 `ggml-rpc` 客户端和服务器之间沟通的秘密——**RPC 通信协议**。
    C++ 神经网络 人工智能
  • llama.cpp 分布式推理介绍(4) RPC 服务器 (rpc_server)
    在本章中，我们揭开了 `ggml-rpc` 系统另一半的神秘面纱——**RPC 服务器 (rpc_server)**。
    C++ 神经网络 人工智能
  • llama.cpp 分布式推理介绍(3) 远程过程调用后端 (RPC Backend)
    在本章中，我们认识了 `ggml-rpc` 的核心交互工具——**远程过程调用后端 (RPC Backend)**。
    C++ 神经网络 人工智能
  • llama.cpp 分布式推理介绍(2) 后端注册机制 (Backend Registration)
    在本章中，我们深入了解了 GGML 强大且灵活的后端注册机制。通过图示和代码函数结合，帮助大家理解rpc的后端注册机制。
    C++ 神经网络 人工智能
  • llama.cpp 分布式推理介绍(1) 远程计算设备 (RPC Device)
    本章介绍ggml-rpc 的核心入门概念——远程计算设备 (RPC Device)。它是一个对远程服务器的本地抽象或代理，目的是让远程计算资源的使用像本地硬件一样简单。
    C++ 神经网络 人工智能
  • llama.cpp 分布式推理介绍(0) 整体介绍 ggml-rpc
    `llama.cpp` 的分布式推理功能，是基于`ggml`内置的`ggml-rpc`功能来实现的。本文介绍ggml-rpc 整体工作原理。
    C++ 神经网络 人工智能
  • gRPC介绍
    [TOC] gRPC gRPC介绍 gRPC是什么？ RPC和RESTful的区别是什么？ RPC的消息传输可以是TCP，可以是UDP，也可以是HTTP，当RPC消息传输是HTTP时，它的结构与RES
    后端
    gRPC介绍
  • gRPC学习笔记2 - 示例
    0. 编写一个 gRPC 的示例。1. gRPC 是谷歌开源的轻量级 RPC 通信框架，其中的通信协议基于二进制数据流，使得 gRPC 具有优异的性能。两个微服务之间通过基于 HTTP 2.（1）定义数据结构和服务方法：在一个 .proto 文件内定义服务。（2）生成接口源代码：...
    后端