人工智能

现阶段大模型盛行，我们的算力资源极为短缺，为了更好的提升模型性能我们需要了解一些基本的底层显卡原理。

本文介绍了使用模型量化的原因，以及两种最常见的量化策略，对称量化和非对称量化，并且介绍了各自的优缺点。

本文借用 FP16 精度的 llama-13B 大模型为例，详细介绍了大模型在训练时候底层的显存的实际占用情况

本文介绍了使用弱智吧数据，全参数指令微调 Qwen2.5-0.5B-Instruct 模型的全过程。

这两天腾讯终于放出了大招了，其中有一款框架，可以直接文生3d模型，或者图片生3d模型，本文详细讲解了如何使用的过程。

本文介绍了在 windows 上，跑通 llama3-8b 模型的中文指令微调、量化、部署，以及实践过程的细节

本文主要是总结了 DQN 、DDPG 、Actor-Critic、PPO 四个常见算法的要点，便于区分它们之间的区别和相同之处。

年初， AI 发展迅猛，领导感大有可为，遂立军令状誓要作一番事业，恰逢已有地下市政系统，WEB 需求已定，刚好在此基础上小试牛刀，于手机钉钉终端做一地下市政智能助手，耗时半年，终有小成。

单纯靠文本向量或者相似度很难召回恰当的文档，而 Qwen-agent 提出了一种新的方式来解决这一问题。

我一直对 ReAct 的内部执行流程感到好奇，为何如何神奇能够执行复杂任务，通过阅读源码，终于揭开了面纱，让我们一探究竟。

llama3.1 强势来袭，我也是第一时间就下载使用了，下面给各位领导汇报一下最新的成果和使用体验感受。

最近微软新推出来的技术 graphRAG 相当火爆，我通过学习网上的资料总结出来在本地部署 Ollama+graphRAG 的教程，并且用《凡人修仙传》进行测试。

平时我都会自己写 prompt ，但是渐渐发现写的不堪入目，质量很差，现在我都是自己写个草稿，让 gpt 帮我润色，既有助于大模型的理解，又看起来美观简洁易懂。

最近接了个小需求，就是家里侄女出生了，家里人拍了一张照片，想做一个让她开口说话和大家打招呼的视频，这个重任自然是落到了我的肩膀上了，索性咱们有技术有硬件，干脆就做一下，给家人添点乐趣。

本文教大家如何部署 text-generation-webui 开源项目，简单几步让你的本地大模型拥有舒适的交互界面

txt2sql 工作中人工去核对测试结果相当费时费力，所以我们打算引入大模型让大模型来对 benchmark 的结果和 txt2sql 的结果进行比对，看结果是否符合预期，如果不符合预期给出理由。

最近一直做的 txt2sql 的项目，但使用的大模型的是通义千问 api 接口，领导在充了 2000 块之后觉得太贵了，让我开始研究能不能微调下开源 codellama 来替换通义千问，所以才有了下文

大家肯定对使用大模型的函数回调或者说 Tools 已经耳熟能详了，那么他们具体内部是如何运作的呢，本文就此事会详细给大家介绍具体的细节。

使用大模型的最重要的一步就是编写好的提示词 prompt ，但是 prompt 既容易被低估也容易被高估。本文介绍一些常用的提升效果的技巧，并且通过实例展示效果。

tools 的数量太多，导致 tools 本身的描述加上参数的描述整个 token 的数量会超出大模型的输入 token 限制，本文就是介绍解决这种问题的方案。