Kida的技术小屋

本文将从部署开始，详细讲一下如何使用 llamafactory 对开源模型进行指令微调了，并且在微调过程中我是如何一次一次地进行参数调整的，我也跟各位分享一下。...

本文讲述本人使用 RAGChecker 对 RAG 应用调优的过程，里面还会包含一些关于 RAGChecker 的使用意见，希望对各位有用～...

本文将介绍在 Python 中如何对 CUDA 显存进行监控并在到达阈值时进行显存的清理，希望这个对大家也有用吧。...

“直线谁不会踩油门，弯道快才是真的快”这句话的含金量还在上升。在上次调优后我又做了其他的尝试，本节将结合本人的最终优化结果给各位分享...

本文讲述如何使用 pressure_util.py 压测工具对基于 transformers 驱动的 RAG 应用进行性能调优的过程（没有用加速框架就是一些基础优化）。...

本文主要讲述 SSE（ServerSent Event）机制，以及如何编写基于 SSE 的压力测试程序。...

本文将结合 docker 版本的 elasticsearch 8.x 给各位展示自封装的 python elasticsearch 工具类。与此同时创建今后演示需要的项目 ...

主要讲述了python 开发环境的搭建工作，从 anaconda 下载安装到 vscode 插件安装，也希望能够对 python 初学者有点帮助...

本文讲述的是如何使用 twinny 将远程 Ollama 算力接入到开发工具中，极大程度释放开发人员生产力。...

本文属于番外篇，讲的是如何从一台服务器裸机到 完成 Ollama 和 Stable Diffusion 部署的全过程...

【从零开始】系列的第一篇文章，本文讲述了升级人工智能硬件并实际运行 Ollama 进行推理的过程......

由于工作过程中硬件资源未能达到要求，现将使用 Elasticsearch 取代原 Redis + MySQL + Milvus 技术栈，在重新搭建的同时记录一下搭建过程...

本文主要通过一次公司“加解密工具”代码优化后，通过JMH进行了性能测试的案例，为大家结合代码讲解以下 JMH 的使用。...

记录一次吃瘪经历... 正所谓人在河边走哪有不湿鞋的，况且你只是一个砍柴的干嘛要走河边呢？你看吃瘪了吧。...

书接上文，我在 ollama 中部署 qwen1_5-14b-chat-q4_k_m.gguf 预量化模型，在非 Stream 模式下需要 89 秒才完成一轮问答，响应速度...

本文将记录部署过程中遇到的问题以及解决方式，希望对你有所帮助（open-webui 采用 docker 进行部署）。...

本文将采用 GGUF 预量化大模型结合 Ollama 对代码进行修改，给小伙伴们演示如何逐步实现非 GPU 资源的本地整合方案。...

距离上次做 Kali Linux 分享已经相隔半年之久了，刚好需要主导公司每半年一次的本地安全加固工作，这次将简单分享自己是如何做单一服务器的扫描。...

今天想分享如何从零开始在不使用第三方工具的前提下，以纯代码的方式本地部署一套大模型，相信这对于技术人员来说还是非常有用的。...