Chirp

总览 对 YOLO 的具体运作原理仍然不甚理解，来读下 ultralytics 库的代码吧。调试 YOLO v12 的推理，以及 YOLO v11 的训练。

最近在微调 Qwen VL 模型，使用 peft 库的 lora 进行微调。为了更高的推理效率，就把 lora 合并到了基底模型。但合并过后的模型输出效果非常差。

用 transformers 库写模型时发现个很离谱的 bug。离谱不在于 bug 本身，而是 transformers 本身已经意识到这个 bug，但因为 “速度更重要” 而搁置不改了。

配置 CUDA_HOME，并且传入 no-isolation 参数，就可以正确安装了。 参考来源 https://github.com/Dao-AILab/flash-attention/issues

最近有多显卡训练的需求，于是研究了一下分布式训练。 大致来说分为 Data Parallelism 和 Model Parallelism 两种策略。

Windows 系统默认的文件路径最大长度被限制在 260 个字符，Python 里像是使用 open() os.path.exists() 都无法正确读取到超出这个限制的路径的文件。

论文 Neural Networks Fail to Learn Periodic Functions and How to Fix It 提出了更适合周期性数据 Snake 激活。

Ollama 可以说是我遇到过的最简单的部署大语言模型的方式。美中不足的是 Ollama 的文档相当粗糙。具体的配置项只字不提，还得翻项目代码才能看到。

留下阅读 (2025) TransMLA: Multi-Head Latent Attention Is All You Need 的痕迹。