嵌入式视觉

（直到 GPT 出来之前）大多数有竞争力的神经序列转换模型都是采用编码器-解码器结构，transformer 模型也不例外。...

大家好，我是陈随易，目前是全职自由独立开发者，已经3年没上班了，一直待在农村。23年6月到9月，研发和推出了自己的2款自研小产品（utools插件易待办和vscode扩展f...

看到这很多人可能就要发现了， 这不是一篇技术文，不过不重要了... 这一年都在拥抱变化 今年我更文只有2-3篇，主要是因为今年2月份经历了团队大调整，我们客户端4个同学被整...

RPC（Remote Procedure Call），即远程过程调用，主要是为了解决在分布式系统中，服务之间的调用问题。 分布式系统顾名思义就是将一个完成任务 A 的整体的...

本文将对衡量深度学习模型大小的一些常用指标，如计算量、参数量、访存量、内存占用等进行探讨，分析这些指标对模型部署推理的影响，尤其是计算量与访存量对模型推理速度的影响，并给出...

掘金一直致力于为广大掘友提供一个良好的平台和多元的内容，我们始终坚持抵制抄袭、刷量、谩骂等违反社区规则的行为，欢迎大家监督，也欢迎大家参与到我们的社区建设中。...

本文总结了 Transformers 的常用术语并给出详细解释，然后对 transformers 库总结了快速使用方法，并结合实例代码做分析，可当作 LLM 的快速入门学习...

我们都知道大语言模型（LLM）的计算成本极高，且在许多实际场景中都会有响应速度太慢的问题，总结起来就是 LLM 的推理的有两个主要挑战：延迟（lateny）和成本（cost...

本文总结了 DeepSpeed Inference 系统的主要三个特性，如具有自适应并行性的多 GPU 推理、专为推理优化的 CUDA 内核和灵活的量化感知训练以及量化推理...

每天晚上睡觉就做梦，半年了，回家睡得很香，确诊了，我就是太焦虑了，来自30岁的焦虑，一种离职就能好的病。...