LinTech

有的时候会想，直接写文章就可以让客户懂得的东西。为什么要多费口舌来给客户讲那么多。后来发现其实文章的完善是不断和客户交流的过程，要清楚客户需要的是什么才能写出好的技术类的文章。要把它当做你的战友来写。

在科技服务与技术交付场景中，性能表现是客户决策的核心依据之一，而一份可信的性能报告，不仅是技术实力的直观体现，更是建立客户信任、夯实合作基础的关键载体。

多卡推理性能下降如何定位：通信拓扑与 Profiling 实战 在大模型规模化部署与高性能计算场景中，多卡并行推理已成为突破单卡算力瓶颈、提升吞吐量的核心方案。

在大模型应用中，如何让 AI 学习企业内部文档同时又不泄露核心隐私？检索增强生成（RAG） 是目前公认的最优解。

在 LLM 生产级部署中，推理性能的瓶颈已从算力受限（Compute-bound）转向显存带宽与容量受限（Memory-bound） 。 KV Cache 与 PagedAttention

在大模型从“实验室”走向“生产力”的过程中，显存溢出（OOM）和推理延迟始终是两大拦路虎。那么如何从fp16转为int8/int4可以看看这份文章

从docker到k8s，怎么让你的镜像部署更加的健壮。可以试试这个，部署大模型推理的服务，来练练手呀

对比测试，对比两个框架，虽然迭代的很快，但技术上各有侧重，所以看看吧。会用这个东西的人也不会很多，希望整理的这个资料对大家有用

试试从零开始搭建vllm服务，一个云端的服务怎么搭建起来的详细分享，如果有条件大家可以手动试试。代码都贴出来了，遇到问题可以直接问cursor。