LLM面试

一、LLMs 存在模型幻觉问题，请问如何处理？ 数据清洗和预处理：在训练大语言模型之前，对数据进行仔细的清洗和预处理是至关重 要的。删除不准确、噪声或有偏差的数据可以减少模型幻觉问题的出现。 多样化训

1.传统Attention 存在哪些问题？ 传统Attention存在上下文长度约束问题； 传统Attention速度慢，内存占用大； 2. Attention优化方向？ 提升上下文长度 加速、减少内