大语言模型LLM

听说KTransformers 0.2.4支持并发了，这可是个大进步，之前测试下来KTranformers最大

原文：Benchmark: 用vllm自带的工具对 QwQ-32B-AWQ进行压测 一、省流，直接看结论 一）参数：两个4090，1000 token的输入，128 token的输出（vllm ben

原文：vllm 优化：flashinfer问题 FlashInfer问题 一开始报没安装FlashInfer 启动vllm过程中有一个warning。 那就安装一下FlashInfer 安装了后又报F

原文：https://www.oddmeta.net/archives/165 前两天试了一下小红书开源出来的FireRedASR，整体感觉是小红书团队只是把关键的语音识别的模型开放出来了（也只开放了

原文：https://www.oddmeta.net/archives/156 前两天看到一个新闻说：阿祖出来教大家英语了，哥一下子呆住了。所以当时就想是不是我自己也可以来做一个类似的东西？ 既然一个

原文：ASR引擎测试：FireRedASR只能说小红书的诚意不够 小红书开源了他们的自动语音识别模型FireRedASR，宣称很牛逼。今天咱也部署一下，并对它做一下测试。 项目地址: https://

原文：https://www.oddmeta.net/archives/136 用Ollama 对 Gemma3多模态27B版本做功能、性能测试 谷歌刚刚推出的开放权重LLM：Gemma 3。它有四种

原文：https://www.oddmeta.net/archives/122 下载STT模型 先得启用一下Open WebUI的STT(Speech To Text）语音转文本的功能，用管理员登录进

原文链接：Open WebUI上传附件聊天及本地知识库功能异常问题 问题现象 在Open WebUI里上传一个附件，然后针对这个附件做聊天或者问答，但是返回异常。 查看后台日志，有如下报错： 问题分析

原文：https://www.oddmeta.net/archives/114 问题现象 大模型的联网搜索功能本质上是将模型的自然语言处理能力与传统搜索引擎技术相结合，实现获取联网信息并生成可靠答案的

原文链接：https://www.oddmeta.net/archives/111 Open WebUI不能正确显示qwq32b和deepseek的think标签问题 问题现象 整个think标签不对

原文链接：https://www.oddmeta.net/archives/98 一、说在前面 今天有一个朋友在一个群里提到了N年前经常用的一个软件：UC浏览器，一个子勾起了当年无数的回忆。于是又让我

原文：https://www.oddmeta.net/archives/153 想用大模型做一个训练英语听力的东西 想当年，咱要练习听力，就是看美剧，但是现在时代不一样了。 刚才看到一个新闻，说吴彦祖

原文：https://www.oddmeta.net/archives/119 截了个RealChar的Conversation对话的界面图片，想让豆包帮我生成一个代码，要求跟他长的差不多 Round

原文：https://www.oddmeta.net/archives/101 看到一个开源项目的界面挺漂亮的，想扒拉过来，学习一下。 做人至少要稍微厚道一点点，都已经要模仿他的界面了，那至少先给他推

原文：https://www.oddmeta.net/archives/28 关于BF8 DeepSeek R1和DeepSeek V3都是默认BF8精度，是一种低精度的浮点数格式。 BF8的全称是"

由于模型、权重文件已经下载好了，所有跳过这些步骤。open-webui也在昨天已经安装好，同样跳过。 无废话流程 硬件环境 租的AutoDL的GPU服务器做的测试 •软件环境 PyTorch 2.5.