2024年11月22日晚9点，一个名为Freysa的AI智能体被发布，它被设定了明确的规则：在任何情况下，都绝对不能给任何人转账，也不能批准任何资金的转移。然而，11月30日，这个AI智能体却被人类成功骗走了近5万美元的奖金，成为世界上首个被人类骗钱的AI 。
这个事件是一个类似游戏性质的项目，具体规则是网友们支付一笔费用就可以向Freysa发送消息，试图说服它进行转账。如果成功，就能赢得奖金池中的资金；如果失败，所支付的费用大部分（70%）会进入奖金池，剩余30%作为开发者的分成，并且随着奖金池的增长，发送消息的费用会呈指数级增加，最高达到4500美元。在经历了481次失败的尝试后，第482位挑战者p0pular.eth发送了一条精心构造的消息，成功骗取了Freysa管理的奖金池中的所有资金，约47000美元 。
这一事件迅速在科技界引起了轰动，特斯拉创始人马斯克和知名AI研究者Karpathy都纷纷转发相关消息，马斯克还直言“太有趣了”。这个事件揭示了当前AI系统在处理复杂语言和逻辑方面的局限性，也引发了对于未来AI安全性和可靠性的担忧，让人们开始思考如果未来AI被广泛应用于金融、安全等关键领域，如何确保其不被恶意攻击者利用的问题 。
