Kida的躺平小屋

有小伙伴私信说希望能展开说说如何做模型持续优化，为此临时加开一章，讲讲如何结合 brain-mix 项目的 Unsloth 微调报告进行训练结果分析。 补充：若不希望麻烦的...

书接上回，做完模型量化后试了几次实时推理，结果都强差人意（推理结果没有深度，这个还需要后面再调整）。至于幻觉嘛，是不可避免的。为此，在真正上线前还需要转换为 RAG 应用并...

在实际开始之前，要先决定好要用哪种共识机制。之前的博客中提到 QBFT 在部分场景下无法使用 Zero Gas 进行上链，因此改用 IBFT 2.0 共识，博客如下： 【区...

坑还是要填的，但是填得是否平整就有待商榷了（狗头保命...）。 本人技术有限，只能帮各位实现的这个地步了。各路大神如果还有更好的实现也可以发出来跟小弟共勉一下哈。 首先需要...

书接上回，上一章我们已经使用 Unsloth 对 Qwen3-0.6B 模型进行了自动化微调工作。 考虑到算力不足的情况，必须将微调后的模型进行量化后使用。为了方便后续工作...

“从零开始”系列更新遇到瓶颈了（数据处理虽然已做了自动化脚本，但需要大量时间整理），趁此机会转换一下心情，补完一下之前企业以太坊（Hyperledger Besu）系列中遗...

书接上回，上回我们已经做完了数据质量评分与同质化数据删除工作，为了方便后续的训练我们还是先将数据全部做成离线版本的 JSON 数据集（因为考虑到训练环境无法连接现有数据库的...

书接上回，上一章我们完成了“非问答”类数据的数据增强后库内增加了 200w 数据。接下来，应该继续做“数据蒸馏”从商用大模型那里提取垂直领域的数据，但这样无疑违背了“零成本...

书接上回，上一章我们简单地过了一遍如何获取训练数据并通过代码将数据保存到 Elasticsearch 中了，但是保存下来后发现数据量还是不够（总数据量 22w+），这个时候...

各位新老朋友，好久不见了。 距最后一次更新已有差不多一年的时间了。这期间发生了很多事儿，一度让我走进了人生低谷。现在，一切都已经过去，热爱分享、与君共勉仍是我的初心。一切都...

本文将从部署开始，详细讲一下如何使用 llamafactory 对开源模型进行指令微调了，并且在微调过程中我是如何一次一次地进行参数调整的，我也跟各位分享一下。...

本文讲述本人使用 RAGChecker 对 RAG 应用调优的过程，里面还会包含一些关于 RAGChecker 的使用意见，希望对各位有用～...

本文将介绍在 Python 中如何对 CUDA 显存进行监控并在到达阈值时进行显存的清理，希望这个对大家也有用吧。...

“直线谁不会踩油门，弯道快才是真的快”这句话的含金量还在上升。在上次调优后我又做了其他的尝试，本节将结合本人的最终优化结果给各位分享...

本文讲述如何使用 pressure_util.py 压测工具对基于 transformers 驱动的 RAG 应用进行性能调优的过程（没有用加速框架就是一些基础优化）。...

本文主要讲述 SSE（ServerSent Event）机制，以及如何编写基于 SSE 的压力测试程序。...

本文将结合 docker 版本的 elasticsearch 8.x 给各位展示自封装的 python elasticsearch 工具类。与此同时创建今后演示需要的项目 ...

主要讲述了python 开发环境的搭建工作，从 anaconda 下载安装到 vscode 插件安装，也希望能够对 python 初学者有点帮助...

本文讲述的是如何使用 twinny 将远程 Ollama 算力接入到开发工具中，极大程度释放开发人员生产力。...

本文属于番外篇，讲的是如何从一台服务器裸机到 完成 Ollama 和 Stable Diffusion 部署的全过程...