大模型技术

LLM中temperature起作用的方式朴实无华，softmax函数的特性使得 小数之间更加接近，大数之间更加分离 它的输出结果如下，

deepseek用的grpo训练，我觉得不符合一个不断迭代的思路，因为大量用户带来了大量对话数据，这部分数据在grpo训练中没有得到有效利用（当然，收集到了真实的用户输入数据也是很有价值的，可以作为r

```bash #!/bin/bash # 设置检测间隔时间（秒） CHECK_INTERVAL=5 while true; do # 使用 nvidia-smi 获取所有 GPU 的显存使用情况 G

reward hacking 解释：一类现象：cot错的，结果对的 例子。 出处：(2022)Scaling Laws for Reward Model Overoptimization

FQA Install linux安装脚本当前会尝试下载两种安装包，真实下载地址其实是github，国内的原因，很难完成下载，旧版可以通过github镜像下载，新版的下载地址没法镜像，所以需要本地先下

测试环境 机器: A800 * 8 抱怨 codellama-70b，推理速度巨慢，用ollama也经常卡死 在网上没有看见任何吐槽/分析其推理速度的文章 同样大小的qwen 72b无论使用trans

报错信息 原因 Fraction object creation fails with extra kwargs in bleu_score.py · Issue #3232 · nltk/nltk

如果全参数训练chatglm3,但是显存又不够怎么办，一种方案是采用量化的模型进行训练，例如8bit、4bit量化。 这时候使用LLaMA-Factory这个项目训练就会发现，该项目并不支持量化模型下

安装flash-attention2报错 按照官方给出的安装方法报错 完整的报错信息如下： 这里的报错其实在第16行:没能成功从github拉下whl。 原因：国内特殊的网络环境下，访问github不

问题是单条数据过长 torch引发的错误，[issue里有人提]截至2023.11.1这个问题还没有解决，(https://github.com/pytorch/pytorch/issues/8209

想要使用vllm 最好直接新环境pip install vllm 否则在安装xformers时容易出错。因为xformers的每个版本支持的cuda版本不一样。 失败案例： 我从torch2.1.0+

首先要知道glm是如何训练的 参考下面的博文，总之 glm就是用自回归空白填充作为训练目标 。通过完整的上下文预测masked的内容，masked内部的预测采用完整的上下文信息+masked中已经预测

训练过程中发现问题，内存不够 Is memory-efficient FSDP initialization intended to be possible with torch.device('me