Kida的躺平小屋

【从零开始】系列的第一篇文章，本文讲述了升级人工智能硬件并实际运行 Ollama 进行推理的过程...

由于工作过程中硬件资源未能达到要求，现将使用 Elasticsearch 取代原 Redis + MySQL + Milvus 技术栈，在重新搭建的同时记录一下搭建过程

本文主要通过一次公司“加解密工具”代码优化后，通过JMH进行了性能测试的案例，为大家结合代码讲解以下 JMH 的使用。

记录一次吃瘪经历... 正所谓人在河边走哪有不湿鞋的，况且你只是一个砍柴的干嘛要走河边呢？你看吃瘪了吧。

书接上文，我在 ollama 中部署 qwen1_5-14b-chat-q4_k_m.gguf 预量化模型，在非 Stream 模式下需要 89 秒才完成一轮问答，响应速度实在是太慢，后续想办法优化

本文将记录部署过程中遇到的问题以及解决方式，希望对你有所帮助（open-webui 采用 docker 进行部署）。

本文将采用 GGUF 预量化大模型结合 Ollama 对代码进行修改，给小伙伴们演示如何逐步实现非 GPU 资源的本地整合方案。

距离上次做 Kali Linux 分享已经相隔半年之久了，刚好需要主导公司每半年一次的本地安全加固工作，这次将简单分享自己是如何做单一服务器的扫描。

今天想分享如何从零开始在不使用第三方工具的前提下，以纯代码的方式本地部署一套大模型，相信这对于技术人员来说还是非常有用的。