为你的机器学习模型设定更合理的基准本文探讨了机器学习模型评估中传统基准的局限性，通过广告点击预测案例展示了如何建立更现实

为你的机器学习模型设定更合理的基准

决定一个机器学习模型何时足够好通常具有挑战性。

从业者通常将其指标与两个极端基准进行比较：最差情况（通常称为无技能模型）和最佳情况（假设的完美模型，其预测零错误）。

问题是，虽然无技能场景提供了一个合理的基线，但与完美预测模型进行比较是不现实的：在现实世界的数据中根本不可能达到完美。

在本文中，我将分享一个来自预测广告点击的真实经验，这个经验让我意识到这些传统基准可能有多么误导人。更重要的是，我将解释如何定义一个更现实的基线，这个基线能提供实用的见解，并帮助推动更好的建模决策。

我参与了一个项目，其目标是预测一个广告在短时间内会收到多少点击。

这个变量有两个特征：

创建帐户以阅读完整故事。作者仅向某平台会员提供此故事。

如果你是该平台的新用户，请创建一个新帐户来阅读此故事。

在应用中继续或者，在移动网页中继续使用谷歌注册使用脸书注册使用电子邮件注册已经有帐户了？登录

97973 关注发表于数据科学社区 874K 关注者·最后发布 11 小时前来自某平台数据科学社区的建议、见解和想法关注关注作者：Samuele Mazzanti 9.4K 关注者·76 正在关注某机构应用科学家 | 我写关于现实世界中的数据科学 | 观点为我个人所有关注

回复 (3) 写回复你有什么想法？取消回复

Miguel Lopezvirues 10月12日问题：为了获得合理完美模型的图像，不应该计算预测与合理完美目标1之间的MAE吗？在示例中，你从模型预测确定的泊松分布中抽取，所以计算... 更多 9 回复

Chris Bartley 10月14日（编辑过）有趣的想法Samuel！有几个想法：

Oliver H Blake 10月13日优秀 👍 且知识丰富 ❤️ 回复

更多来自 Samuele Mazzanti 和数据科学社区在数据科学社区中作者：Samuele Mazzanti 如何因"统计显著"决策而亏损许多决策者依赖统计显著性——但这并不总是转化为价值。这是一个更有效的框架... 3月13日鼓掌图标 526 回复图标 20

在数据科学社区中作者：Andres Vourakis 人工智能与数据科学就业市场：到底发生了什么？有抱负的、初级和高级数据科学家应该了解什么以保持未来竞争力 9月16日鼓掌图标 1.5K 回复图标 61

在数据科学社区中作者：Ida Silfverskiöld 代理人工智能：实现长期记忆本文帮助你理解如何构建复杂的记忆系统以及帮助实现的框架 9月30日鼓掌图标 999 回复图标 10

在数据科学社区中作者：Samuele Mazzanti 当我将因果机器学习模型投入测试时发生了什么因果模型承诺比传统机器学习提供更好的因果估计——但它们总是能兑现吗？ 5月7日鼓掌图标 357 回复图标 9

查看 Samuele Mazzanti 的所有内容查看数据科学社区的所有内容

来自某平台的推荐在数据科学社区中作者：Marina Wyss - 感恩驱动每位未来人工智能工程师需要阅读的10篇论文分解塑造该领域的顶级10篇论文 10月13日鼓掌图标 587 回复图标 9

在顶级Python库中作者：ZHEMING XU 数据科学10个常见概念的图表数据科学概念 4月24日鼓掌图标 75 回复图标 2

在人工智能进展中作者：Nikhil Anand 在学会这个之前，我浪费了数月运行缓慢的大语言模型为什么你的大语言模型只以其潜在速度的10%运行 10月10日鼓掌图标 754 回复图标 10

在升级编程中作者：Vivedha Elango 为什么你的RAG系统在处理复杂问题时失败？（以及结构如何解决一切）理解用于精确推理和领域专业知识的检索与结构化（RAS）范式及实现示例 10月11日鼓掌图标 343 回复图标 6

在Heptabase中作者：詹雨安 Alan Chan 使用人工智能学习的最佳方式使用人工智能学习复杂知识的有效方法 9月26日鼓掌图标 2.1K 回复图标 23

Tosny 2025年我每天访问的7个网站如果有一件事我上瘾了，除了咖啡，那就是互联网 9月23日鼓掌图标 5K 回复图标 176

查看更多推荐帮助状态关于职业媒体博客隐私规则条款文本转语音