Evaluating Large Language Models: A Comprehensive Survey 大型语言模型评估：全面综述
github: github.com/tjunlp-lab/…
摘要
大语言模型（LLMs）在广泛的任务中展现出了卓越的能力，受到了极大的关注，并被应用于众多下游领域。然而，大语言模型就像一把双刃剑，也存在潜在风险。它们可能会导致私人数据泄露，或者生成不恰当、有害或误导性的内容。此外，大语言模型的快速发展引发了人们对在缺乏足够保障措施的情况下，可能出现超级智能系统的担忧。为了有效利用大语言模型的能力，同时确保其安全、有益地发展，对大语言模型进行严格而全面的评估至关重要。 本综述旨在对大语言模型的评估提供全面的视角。我们将大语言模型的评估分为三大类：知识与能力评估、对齐评估和安全性评估。除了对这三个方面的评估方法和基准进行全面回顾外，我们还整理了大语言模型在专业领域的性能评估概要，并讨论了涵盖大语言模型能力、对齐性、安全性和适用性评估的综合评估平台的构建。 我们希望这一全面的概述能激发更多关于大语言模型评估的研究兴趣，最终使评估成为指导大语言模型可靠发展的基石。我们期望这将引导大语言模型朝着最大化社会效益、最小化潜在风险的方向发展。相关论文的精选列表已在GitHub代码库中公开。
2、分类方法和路线图
这篇综述旨在解决以下问题：
- LLMs的能力是什么？
- 当部署LLMs的时候必须考虑的因素是什么？
- 在哪个领域LLMs能够找到实践应用？
- 在这些多样的领域大模型的表现怎么样？
3、知识和能力评估
4、对齐评估
5、安全评估
6、领域LLMs评估
生物与医药
教育
法律
计算机科学
财经
7、评估机构
