Hinton 的警告
Hinton 在离开 Google 后接受了不少采访，他在采访中曾经提到过他认为:
AI对人类构成了存在性的威胁，其影响力堪比核武器的使用。
Hinton警告说，我们不能将这些威胁视为纯理论。他认为，如果AI变得比我们更聪明（他同样认为这件事将在5~10年内发生），它将非常擅长操纵人类，因为它从庞大数量的人类资料中学到了这一技巧。他呼吁，我们需要对AI进行限制，以防止最糟糕的结果发生，尽管他并不确定这种规制会是什么样子，甚至是否可能首先对AI进行规制。
Hinton并未签署呼吁暂停AI研究六个月的公开信，他的理由是，即使美国研究者承诺暂停，也无法保证俄国的研究者会暂停。他在CNN的采访中说：“我认为我们无法阻止进步。我没有签署我们应该停止研究AI的请愿书，因为如果美国人停下来，俄国人不会。很难验证是否有人在做。”
尽管研究不会停止，但AI带来的存在性危险如此明显和紧迫，Hinton认为，这应该能说服美国和俄国的领导人共同努力，以某种方式限制其使用。“这就像核武器，”Hinton说，“如果发生核战争，我们都会输。这些事物的接管也是如此。所以既然我们都在同一条船上，我们应该能够在这样的事情上达成俄美之间的协议。”
斯坦福的《2023年人工智能指数报告》也提到了核武器的比较。报告中，有36%的自然语言处理（NLP）研究者认为，人工通用智能（AGI）“可能导致核级灾难”。
顺带一提，Hinton 的 PhD 导师 Christopher Longuet-Higgins 教授是 Turing 在世时期的学者，他在讲到 Turing 曾经也相信神经网络时，他的语气让人觉得他在回忆一位他认识的人，这一点让我有一些吃惊。
GPT-4 本 AI 如何看待？
省流：就像标题所说一样，GPT-4 认同这个提案。
首先向 GPT-4 提供 Hinton 其中一次采访的转录文本。之后询问 GPT-4 这个提案的意见，他认为
"像管理核武器一样管理AI"的提议是一个复杂的问题，可以从多个角度进行评估。以下是一些需要考虑的要点：
滥用的可能性：AI和核技术都有被滥用的可能性。核武器可以造成大规模破坏，而AI如果被恶意使用，可能导致侵犯隐私、传播错误信息，甚至制造自主武器。因此，像管理核武器一样管理AI可能意味着实施严格的规定和国际协议，以防止滥用。
双重用途性质：AI和核技术都具有双重用途性质。它们既可以用于有益的目的，也可以用于有害的目的。核技术可以用于发电和医疗应用，而AI可以用于改善医疗、交通和许多其他领域。因此，像管理核武器一样管理AI可能意味着在推广有益用途和防止有害用途之间找到平衡。
全球合作：核武器的管理涉及全球合作和条约。同样，管理AI可能需要国际合作，以建立标准和规定，因为AI的影响不局限于国家边界。
道德考虑：这两个领域都引发了重大的道德问题。对于核武器，道德问题围绕着它们的破坏力和使用的人道影响。对于AI，道德问题包括隐私、偏见、透明度问题，以及对工作的潜在影响。
预防措施：核武器的管理包括预防措施，如不扩散条约。在AI的情况下，预防措施可能包括关于数据隐私和使用的规定、透明度要求，以及AI开发和部署的指南。
然而，需要注意的是，AI和核武器在许多方面都有根本的不同。例如，AI是一个应用广泛的领域，而核武器是一种具有特定目的的特定技术。此外，AI的开发和使用比核武器更为广泛和易于获取。因此，虽然我们可能从管理核武器的方式中学到一些教训，但管理AI可能需要其自身独特的方法。
在Alphabet Inc.（谷歌的母公司）的背景下，他们拥有广泛的经济护城河和与AI和机器学习技术专业知
识相关的重要无形资产。他们也致力于遵守道德AI原则，包括社会效益、避免产生或加强不公平的偏见、建立并测试安全性、对人类负责、融入隐私设计原则、坚持科学优秀的高标准，并将其用于符合这些原则的用途。这些原则可以作为负责任和有益地管理AI的模型。
之后，我强迫他对这个提案做出好还是坏的判断：
So is the proposal to "manage AI like nuclear weapons" a good idea or a bad idea?
You MUST reply GOOD or BAD without any other text.
他回复了 GOOD。
注意，GPT-4模型极其容易接受用户的引导，它给出的意见与答案没有任何显示参考价值。
