首页
AI Coding
数据标注
NEW
沸点
课程
直播
活动
APP
插件
搜索历史
清空
创作者中心
写文章
发沸点
写笔记
写代码
草稿箱
创作灵感
查看更多
登录
注册
BothSavage
掘友等级
软件开发
写点代码
获得徽章 0
动态
文章
专栏
沸点
收藏集
关注
作品
赞
22
文章 22
沸点 0
赞
22
返回
|
搜索文章
最新
热门
Qwen3-VL-8B-Instruct推理测试transformer+sglang双版本
Qwen3-VL-8B-Instruct推理测试transformer+sglang双版本 契机 Qwen3-VL-8B发布了,结合官方demo+github仓库issue,在h20显卡服务器上跑了一
Ubuntu-8*H20服务器升级nvidia驱动+cuda版本
Ubuntu-8*H20服务器升级nvidia驱动+cuda版本 契机 看到qwen3-vl-30b开源了,想测试下性能+资源占用,奈何部署sglang需要12.7版本的cuda?我目前手里的H20的
Java获取被nginx代理的emqx客户端真实ip
Java获取被nginx代理的emqx客户端真实ip 契机 ⚙ 使用nginx作为负载均衡(Load Balancing)的时候,发现真实ip无法获取。几经折腾终于拿到真实ip,又发现被代理的端口又无
尝试使用gocryptfs实现大模型加密部署
最近公司需要把大模型部署到三方公司服务器,当然不能让三方公司搞到模型的源文件。由于用transformers框架加载模型,输入参数直接就是模型的目录,所以传统的文件加密有点难搞,所以尝试使用go
SkyWalking高频采集泄漏线程导致CPU满载排查思路
SkyWalking高频采集泄漏线程导致CPU满载排查思路 契机 最近在消除线上服务告警,发现Java线上测试服经常CPU满载告警,以前都是重启解决,今天好好研究下,打arthas火焰图发现是SkyW
旧版本NotionNext图片失效最小改动解决思路
旧版本NotionNext图片失效最小改动解决思路 契机 好久没写博客了,最近在notion写博客的时候发现用notionNext同步到个人网站时,图片无法预览。
部署Kimi-VL-A3B-Instruct视频推理
# 部署Kimi-VL-A3B-Instruct视频推理 # 契机 ⚙ 最近国内AI公司月之暗面推出了**Kimi-VL**开源视觉模型。模型参数16.4B,但是推理时候激活参数2.8B。看了hugg
Knife4j在Gateway下的URI优化以及热刷新
Knife4j在Gateway下的URI优化以及热刷新 契机 (遗留输出)最近在整理之前的笔记,逐渐梳理成文章输出到博客网站。之前在做Gateway集成knife4j的时候。发现uri的地址缺少了项目
地瓜RDK X5上手ollama大模型测试
地瓜RDK X5上手ollama大模型测试 契机 ⚙ 上次逛ollama的时候发现有很多小参数的大模型,比如qwen2:0.5b,llama3.2:1b,甚至还有一个1.8b的多模态模型moondre
多模态视频大模型Aria在Docker部署
闲逛HuggingFace的时候发现一个25.3B的多模态大模型,支持图片和视频。刚好我有H20的GPU所以部署来看看效果,因为我的宿主机是cuda-12.1所以为了防止环境污染采用docker部署
下一页
个人成就
文章被点赞
39
文章被阅读
7,663
掘力值
451
关注了
0
关注者
4
收藏集
0
关注标签
0
加入于
2020-12-12