IguoChan

0. 简介 sglang是一个高性能的大语言模型和视觉-语言模型服务框架。 它旨在从单 GPU 到大型分布式集群等各类部署环境中提供低延迟、高吞吐量的推理服务。 在通过na...

0. 概念 0.1 为什么需要批处理 LLM以自回归方式进行decode，而decode阶段是典型的数据密集型的计算方式，如果GPU调度时每次只计算一个Sequence，只...

0. 什么是KV Cache 在0. nano-vllm：大模型推理原理和流程中我们阐述了大语言模型作为一种自回归模型的基本工作流程，其主要工作阶段分为： prefill阶...

0. 简介 LLM：就是大语言模型，指参数量较大且具有较强生成能力的语言模型。 vLLM：功能完备的生产级大语言模型推理引擎。 nano-vllm：是vLLM的极简教学版实...

0. 简介 线性回归是预测多少的问题，而回归亦可被用于预测哪一个的问题： 某个电子邮件是否属于垃圾邮件文件夹？ 某个用户可能注册或不注册订阅服务？ 某个图像描绘的是驴、狗、...

0. 背景 虽然一直从事的是工程开发，但是目前从事的工作和算法、特别是大模型相关，因此想了解一下算法的相关基础，而d2l就是入门的教程，可参考dl2。 比如书中中的线性回归...

原文 工作已逾三年，第一份工作在某汽车电子公司，从事Linux应用开发。现旷厂后端开发在职。忽然在知乎刷到职场PUA，今日也来从自己的经历谈一谈这个话题吧。 我性格张扬，求...

0. 简介 前面，我们已经分别可以部署了单机版和Sentinel版的Redis Operator，我们现在来完善一些监控指标。 0.1 Redis Exporter Red...

0. 简介 上一篇，我们借由Redis的单机部署，学习了一下Operator的基本使用，今天，我们在此基础上，部署一下Redis的Sentinel模式。 Sentinel本...

一行不起眼的代码，一次直通 Go 源码的奇妙旅程 去年，在我日常阅读 Golang 官方 issue 时，一条并不起眼的问题引起了我的注意。 某位开发者在 Go 的 tex...

0. 简介 k8s内置的资源类型，可以满足绝大部分的需求，然而对于追求更高自由度的特殊需求下，用户可以使用CRD(CustomResourceDefinition)实现，无...

我有话想说 这篇文章的构思始于2023年，受限于个人经验与知识积累，初稿拖延至2025年1月才最终完成。在此过程中，许多同行大佬慷慨提供了审稿意见与建议，对此我深表感谢。 ...

需求背景 接到重点业务需求要分轮次展示数据，预估最高承接 9w 的 QPS，作为后端工程师下意识的就是把接口写好，分级缓存、机器扩容、线程拉满等等一系列连招准备，再因为数据...

2023年度总结：晋升、跳槽、万粉、圆梦、成为阿里淘天人又到了一年一度的年终总结时间了，不出所料，今年我的年终总结又迟到了，不过没关系，好东西永远不怕晚...

0. 简介 在 3. Service 中我们可以知道，Service 负载均衡是在第四层，而 gRPC 是基于 HTTP/2 协议的长连接，第四层的基于连接的负载均衡对其不...

在开发生产项目的过程中，我注意到经常会发现自己在重复编写代码，使用某些技巧时没有意识到，直到后来回顾工作时才意识到。 为了解决这个问题，我开发了一种解决方案，对我来说非常有...

0. 简介 边车（Sidecar）一般指的一种附有单轮的设备，加装在摩托车等车侧，而边车容器指的也是这种可以随时拆卸的容器。比如我们会经常在一个 Pod 中除了设置主程序容...

0. 简介 前面我们说过，一个 Pod 中的可以有多个容器，其实准确的说，一个 Pod 除了应用容器外，还至少应该拥有一个 Pause 容器。那这个 Pause 容器是干嘛...