摘要

随着大型语言模型（LLM）在许多领域和任务中展示了其强大的能力，包括上下文理解、代码生成、语言生成、数据叙述等，许多数据分析师可能会担心自己的工作是否会被人工智能（AI）取代。这个有争议的话题引起了公众的广泛关注。然而，我们仍处于意见分歧的阶段，没有任何明确的结论。基于这一点，我们在这项工作中提出了“GPT-4是否是一个好的数据分析师？”的研究问题，并通过进行头对头的比较研究来回答这个问题。具体而言，我们将GPT-4视为一个数据分析师，利用来自各个领域的数据库进行端到端的数据分析。我们提出了一个框架来解决这些问题，通过精心设计GPT-4的提示来进行实验。我们还设计了几个任务特定的评估指标，系统地比较了几位专业人类数据分析师和GPT-4的性能。实验结果表明，GPT-4可以达到与人类相当的性能。我们还对结果进行了深入讨论，以在我们得出GPT-4可以取代数据分析师的结论之前，为进一步的研究提供启示。我们的代码、数据和演示可以在以下网址找到：github.com/DAMO-NLP-SG…