长度控制
- min/max_new_tokens 最小/最大生成的长度
- min/max_length 序列整体的最小/最大长度
解码策略
- do_sample 是否启用采样的生成方式
- num_beams beam_search的大小
采样参数
- temperature 默认1.0，即原始分布，低于1.0会使得分布更尖锐，高于1.0会使得分布更均匀
- top_k 将词概率从大到小排列，将采样限制在前K个词
- top_p 将词概率从大到小排列，将采样限制在前N个词，条件是这N个词的概率超过top_p的值
惩罚项
repetition_penalty 重复惩罚项，实现原理是降低已经出现过的token的概率
