首页
沸点
课程
数据标注
HOT
AI Coding
更多
直播
活动
APP
插件
直播
活动
APP
插件
搜索历史
清空
创作者中心
写文章
发沸点
写笔记
写代码
草稿箱
创作灵感
查看更多
登录
注册
确定删除此收藏集吗
删除后此收藏集将被移除
取消
确定删除
确定删除此文章吗
删除后此文章将被从当前收藏集中移除
取消
确定删除
编辑收藏集
名称:
描述:
0
/100
公开
当其他人关注此收藏集后不可再更改为隐私
隐私
仅自己可见此收藏集
取消
确定
系统设计
订阅
Henry_Joe
更多收藏集
微信扫码分享
微信
新浪微博
QQ
26篇文章 · 0订阅
nano-vllm(1):大模型推理原理和流程
0. 简介 LLM:就是大语言模型,指参数量较大且具有较强生成能力的语言模型。 vLLM:功能完备的生产级大语言模型推理引擎。 nano-vllm:是vLLM的极简教学版实现,代码只有1200行左右。
工作中最常用的6种API网关
前言 API网关在项目中非常重要。 今天这篇文章跟大家一起聊聊工作最常用的6种网关,希望对你会有所帮助。 最近准备面试的小伙伴,可以看一下这个宝藏网站(Java突击队):www.susan.net.c
工作中最常用的6种缓存
前言 这些年我参与设计过很多系统,越来越深刻地认识到:一个系统的性能如何,很大程度上取决于缓存用得怎么样。 同样是缓存,为何有人用起来系统飞升,有人却踩坑不断? 有些小伙伴在工作中可能遇到过这样的困惑
分库分表正在被淘汰
如果我们现在在搭建新的业务架构,如果说你们未来的业务数据量会达到千万 或者上亿的级别 还在一股脑的使用分库分表的架构,那么你们的技术负责人真的就应该提前退休了
字节三面:微博大V发博客场景,使用推模式还是拉模式?
文章内容收录到个人网站,方便阅读:http://hardyfish.top/ 这是一个典型的“消息分发模型”设计问题,微博/社交平台在设计大V发博分发时,推模式(push) 和 拉模式(pull) 各
01 - 项目初始化与架构设计
🤔 为什么需要流程编排框架? 在现代软件开发中,我们经常遇到这样的场景: 📋 复杂业务流程: 用户注册、订单处理、数据同步等 🔄 重复性任务: 批处理、定时任务、数据迁移等 🌐 微服务编排: 多个服务
🦋基于 redis 的简易滑动窗口实现
本文封装 redis 的API,实现简易滑动窗口,分别从业务背景、窗口理解、redis 的 zset 结构,lua 脚本,注意事项、不足等进行讲解
实现一个简化版的状态机框架
实现一个简化版的状态机框架 我将为你设计一个简化版的状态机框架,包含状态、事件、转换机制,并支持插件扩展功能。这个实现会参考Spring StateMachine的设计理念。 核心组件设计 基础实现
工作七年总结:这 7 种设计模式,解决 99% 的 Java 开发场景
Java 开发总踩坑?7 大高频设计模式 + 实战代码注释,教你写优雅可复用代码,效率翻倍!速戳解锁!
Springboot3.4.0结构化日志
前言 日志排查,是系统故障排除必不可少的重要环节,Springboot3.4.0版本发布之后,支持日志结构化,它支持Elastic Common Schema (ECS)和Logstash格式,但也可