嵌入式视觉

大家好，我是陈随易，目前是全职自由独立开发者，已经3年没上班了，一直待在农村。23年6月到9月，研发和推出了自己的2款自研小产品（utools插件易待办和vscode扩展fnMap），盈利6000元。

看到这很多人可能就要发现了， 这不是一篇技术文，不过不重要了... 这一年都在拥抱变化 今年我更文只有2-3篇，主要是因为今年2月份经历了团队大调整，我们客户端4个同学被整体划到了另一个客户端团队，目

RPC（Remote Procedure Call），即远程过程调用，主要是为了解决在分布式系统中，服务之间的调用问题。 分布式系统顾名思义就是将一个完成任务 A 的整体的系统拆分成多个模块服务分别部署在不同的计算机节点上，这些模块通过网络通讯协同工作完成任务 A。分布式系统主…

本文将对衡量深度学习模型大小的一些常用指标，如计算量、参数量、访存量、内存占用等进行探讨，分析这些指标对模型部署推理的影响，尤其是计算量与访存量对模型推理速度的影响，并给出在不同硬件架构下设计网络结...

本文总结了 Transformers 的常用术语并给出详细解释，然后对 transformers 库总结了快速使用方法，并结合实例代码做分析，可当作 LLM 的快速入门学习。

我们都知道大语言模型（LLM）的计算成本极高，且在许多实际场景中都会有响应速度太慢的问题，总结起来就是 LLM 的推理的有两个主要挑战：延迟（lateny）和成本（cost）。

本文总结了 DeepSpeed Inference 系统的主要三个特性，如具有自适应并行性的多 GPU 推理、专为推理优化的 CUDA 内核和灵活的量化感知训练以及量化推理内核。

掘金一直致力于为广大掘友提供一个良好的平台和多元的内容，我们始终坚持抵制抄袭、刷量、谩骂等违反社区规则的行为，欢迎大家监督，也欢迎大家参与到我们的社区建设中。

每天晚上睡觉就做梦，半年了，回家睡得很香，确诊了，我就是太焦虑了，来自30岁的焦虑，一种离职就能好的病。