什么?部署大模型要多少显存你都不知道? 引言: 作者 : 吴佳浩 最后更新: 2025-12-6 一个常见的误区: 很多人在部署大语言模型时,会有这样的直觉认知: 错! 这是一个看似合理但实际上会让你

伴随着大模型的性能提升、成本下降，在Web在线对话场景以外，大模型也越来越多的被集成到传统业务场景。

随着语音助手、会议转写等应用的普及，轻量级、高性能的音频模型需求也日益增长。 Aero-1-Audio 是一款新型的1.5B参数音频模型，由 LMMs-Lab 开发，基于 Qwen-2.5-1.5B

最近，老婆刷到一条新闻：“科学家调整超参数让大模型智商飙升！”她一脸懵地问我：超参数是超级英雄的密码吗？难道AI模型还要输作弊码？ 我微微一笑，表现的机会又来了：超参数不是作弊器，而是AI的“操控面板

KTransformers 是由清华大学和趋境科技联合推出的开源项目，能够优化大语言模型的推理性能，降低硬件门槛。支持在仅24GB显存的单张显卡上运行671B参数的满血版大模型。

本文介绍了如何使用 Elasticsearch 的推理 API 与阿里云 AI 搜索服务结合，通过具体的命令和示例，详细说明了如何进行高效的向量搜索，实现稀疏向量、密集向量、completion、re

Ollama本地CPU部署开源大模型。 文章大纲： 1，下载安装Ollama 2，命令行交互 3，python接口交互 4，jupyter魔法命令交互~

想必大家有些感受，PDF 文件已经成为我们工作生活中不可或缺的一个小内容。 但当我们面对那些质量不佳、格式混乱的扫描版PDF时，提取其中的文字内容常常让人头疼。虽然OCR（光学字符识别）技术已经帮助我

OPENAI 在去年的时候，外国突然爆火的GPT受到很多人的关注；它是目前最知名的大型语言模型之一，它在众多NLP（自然语言处理）任务上展现出了前所未有的性能。GPT系列的大模型就是由OpenAI人工