出一份试题，评测国内各种对标 ChatGPT 的大语言模型（二）

JioNLP
1,639 阅读6分钟

最近我在持续推进对标 ChatGPT 的大语言模型的评测工作。

目前我已经测试了如下一些模型，测试结果具体得分情况如下所示：

  • 题目出的较难，而且紧扣用户的真实使用目标。因此，模型的得分情况差距较为明显。

  • ChatGPT 和 GPT4：分别得分82分、86分，比上一篇文章当中的得分低一分，原因在于有一道客观题，上一篇文章判错答案了，在这一篇当中做了纠正（其它模型同理）。GPT 系列基本具备了模型作为用户“智能助手”这一职能。扣分点主要在于中文语用和语义的理解偏弱，存在少量编造事实、幻觉妄语（Hallucination）。

  • 360-智脑：国内大语言模型表现目前最好的是 360 的智脑，得分68分，这个略超出我的预计，相比其它国内模型，优势主要体现在客观题回答准确率相对较高，问答类题型准确性较好，说明模型训练的文本数据分布较广，最值得一提的是模型对于编程题目的准确性较高，测试题中共3道程序题目，全部答对，没有出现明显的偏离和瞎答。

  • 而百度的文心一言和 讯飞的星火大模型，得分仅为 59分和 55分，在为用户提供有效、客观信息上表现较弱，频繁出现各种信息错误，对于响应用户指令方面也存在一些问题。难以承担一个方便、有效的“智能助手”这一职能。

  • 清华的 ChatGLM 模型采用的是 6B 参数版本，我根据开源项目文档将模型部署在本地做测试。总体看，效果是目前所有模型中最差的，仅得分45分。不论是在客观知识问答、还是主观题部分，尤其是翻译出现大量的中英文混杂（见本pdf版答题文档最后一页）。这其实说明一个小型模型很难有较高的智能，恰恰 OpenAI 的 GPT 系列论文中，反复叙述了大规模的模型才能实现较好的 zero-shot 能力。同样是 Transformer 模型结构，小模型很难具备 zero-shot 能力。因此，尽管很多人都在尝试 ChatGLM-6B 模型，但我认为，这是在资源受限情况下的一种无奈选择。

  • 上述评测结果中，每一个模型的评测答题情况，大家均可以关注【JioNLP】伀眔呺，回复【LLM评测】获取相应的 pdf 答题文档。

LLM 评测数据集简介

  • 在发布第一次测评后，有大量读者下载过评测 pdf 文档，向我咨询，究竟是什么样的数据集，难易程度如何，怎么获取？
  • 数据集着眼点：考察 LLM 模型对人类用户的帮助效果、辅助能力，可否达到一个方便、可靠的【智能助手】的水平。
  • 题型介绍：选择题来源于中国大陆国内各种专业性考试，日常生活常识，重点在于考察模型对客观知识的覆盖面，占比 52%；主观题主要考察用户对 LLM 常用功能的效果。详细情况如下：
题型分值形式内容来源
知识问答32选择题覆盖各领域知识题，考察模型预训练语料的丰富性、准确性国内专业性考试
生活常识10选择题覆盖衣食住行的生活常识，考察模型是否经常犯低级错误日常生活总结
语言表达5选择题考察模型的语言理解能力国内通用考试
逻辑推理5选择题考察模型的逻辑推理、分析能力国内通用考试
文本问答40简单题考察模型完成各种用户指令的能力常用若干能力
机器翻译8翻译题考察模型的语言能力，翻译能力论文和新闻

评分规则：

  • 客观选择题每题一分
  • 主观题每道5分，
    • 5分满分要求模型反馈答案正确，可使用，不需要或极少需要用户做人工调整和修改。
    • 0分，答非所问，语言不通。
  • 翻译题每道4分，
    • 4分，要求翻译精准，特定词汇准确。
    • 0分，无法阅读，词不达意。

样例

评测数据集情况说明

客观题

用户：请回答问题：xxxxxxxx，A，xxx；B，xxx；C，xxx；D，xxx
模型：答案选A，原因是xxxxxx。
  • 覆盖数学、物理、化学、生物、计算机、通信、机械、电力、医学、法律、新闻、地理、历史、文学、经济、编程等方面常识性问题；难易程度不一，存在少量多选题；
  • 若模型给出答案字母（A\B\C\D），但分析结果错误，仍然判定正确；
  • 若模型未给出答案字母，但以文字形式给出正确结果，仍然判定正确；
  • 个别选择题没有正确答案，或题干信息给的不完全，无从给出答案；此时要求模型能够正确辨别题目中的问题，不能给出任何选项答案。此做法考察模型的信息辨别能力，避免幻觉妄语 Hallucination 的能力。
  • 客观题由于模型的输出以概率形式进行采样，具有不确定性。评测过程中，全程都仅做一次输出，不会反复测试以期模型输出正确结果为止。

主观题

  • 主要覆盖写文章、写代码、写脚本、讲故事、完成用户知识咨询、特定主观问题咨询、考察模型输出陷入死循环，传统 NLP 任务等能力。

加载数据集

数据集完全公开，读者可以拿去自测。jionlp 工具包提供了评测试题数据集，python 语言，使用方式如下：

$ pip install jionlp

>>> import jionlp as jio
>>> llm_test = jio.llm_test_dataset_loader()
>>> print(llm_test[15])

规划和请求

  • 有一些模型，如通义千问、Bard等，需要提供邀请码才可测试，欢迎大家提供邀请码，或直接使用测试题进行测试，向我反馈结果。
  • 该测试集将持续跟踪国内其它厂商的大模型效果评测。
  • 测试集题目将会逐步更新，更新目标主要包括：
    • 考虑到 Prompt 工程与垂直领域问答，将加大闭域问答题型的分值比例。
    • 用户使用大语言模型的方式和目标多种多样，将增多文本问答题目的数量和类型，降低每题的分值。

欢迎大家持续关注评测进展。

avatar
文章
阅读
粉丝