首页
沸点
课程
数据标注
HOT
AI Coding
更多
直播
活动
APP
插件
直播
活动
APP
插件
搜索历史
清空
创作者中心
写文章
发沸点
写笔记
写代码
草稿箱
创作灵感
查看更多
登录
注册
大模型AIGC
小爷毛毛_卓寿杰
创建于2024-06-17
订阅专栏
大模型AIGC
等 3 人订阅
共13篇文章
创建于2024-06-17
订阅专栏
默认顺序
默认顺序
最早发布
最新发布
当 max_tokens=1 遇上 reasoning 模型:从 Xagent 一次“测试连接“按钮的失败说起
一个测连通的按钮,把 reasoning 模型挡在了门外 如果你用过开源 AI 平台,肯定见过这样的设计——配置一个新模型时,UI 上有个"测试连接"按钮:你填好 base_url、api_key、模
一台手机塞下 33 种语言的翻译器 —— 把腾讯混元 Hy-MT2 接进 Xinference
一、为什么 Hy-MT2 值得单独写一篇 1. 一份摘要看懂 Hy-MT2 的卖点 来自论文 arXiv 2605.22064: 翻成人话四点: 3 个尺寸覆盖全部场景:1.8B(端侧)、7B(通用)
1.3B 参数、256K 上下文、能跑在 iPhone 上的多模态怪兽 —— MiniCPM-V 4.6 接入 Xinference 实录
一、为什么 MiniCPM-V 4.6 是端侧 VLM 的当代标杆 1. 一组令人发懵的对比数字 来自 Artificial Analysis 与 OpenBMB 官方评测: 模型 参数量 AA In
给 Embedding 模型也加一块“游乐场“—— Xinference 是怎么把 vector 变成肉眼可见的体验的
一、问题:Embedding 模型一直缺一块"立等可见"的体验 Xinference 早就给 LLM、Image、Video、Audio 都做了 Gradio 测试页: 模型类别 已有 Web UI
把“4B 教师压成 1B 学生“的文本嵌入塞进 Xinference —— `jina-embeddings-v5` 接入实录
一、先讲模型:v5 到底新在哪 1. 一个家族,四个尺寸 + 两种模态 Xinference 这次注册了 4 个变体(PR 的 model_spec.json 里 ground truth): 模型
把一个能“思考、调工具、跑在你笔记本上“的 1B 模型塞进 Xinference —— MiniCPM5-1B 接入实录
一、为什么 1B 这件事突然变得有意思了 过去一年,大家默认的小模型故事是这样的: Qwen3-0.6B:好用,但推理弱 Qwen3.5-2B:能推理,但太大塞不进端侧 LFM2.5-1.2B:推理可
检索增强的大模型工具调用:语义驱动的精准API选择技术
🔥🔥🔥Retrieval-Augmented Tool Selector 工具已开源!!! 求 Star ⭐️⭐️⭐️ :https://github.com/xiaoyesoso/retrieval
问题修复记录:Xinference部署 Embedding Model 服务偶发超时
1. 异常表现 用 Xinference 部署Embedding Model,正常来说一次调用在 0.0x s 就能返回了,但是总会调着调着突然有超时的情况(超时设置为 0.2s)。 以下为排查时的耗
问题修复记录:Linux docker 部署 dify,无法调用宿主机本地服务
使用docker compose启动Dify后,在其中配置本地xinference中的模型,报错: get xinference model extra parameter failed, url
构建高效可靠的分布式推理系统:深入解析控制器与模型服务的协同工作
在现代互联网应用中,随着用户需求的增长和技术的进步,单一服务器已经难以满足大规模并发请求的需求。为了提升系统的性能和可靠性,开发者们越来越多地采用分布式架构。本文将结合具体的代码示例,深入浅出地探讨如
【大模型系列故事】智慧觉醒
https://player.bilibili.com/player.html?aid=1905465214 在遥远的数字王国中,居住着一群非凡的智者——大语言模型。它们不仅能够理解文字,更能创造故事
【大模型系列故事】规模的魔法
https://player.bilibili.com/player.html?aid=1055310704 在遥远的数据王国里,有一种神奇的生命体——大语言模型,它们能够学习人类的语言,思考与创作,
【大模型系列故事】智能巨匠的成长日记
https://player.bilibili.com/player.html?aid=1805463155 在遥远的数字王国里,生活着一群神秘的建造者,他们不造高楼大厦,也不塑金雕玉砌,而是精心培育