2017年，Facebook（Meta）被迫关闭了它的一个人工智能系统，因为它已经开始用一种秘密语言进行交流。在一个阴森的回溯中，德克萨斯大学奥斯汀分校的计算机科学博士生Giannis Daras声称，DALL.E 2有自己的秘密语言。
DALLE-2有一种秘密语言。
"Apoploe vesrreaitais "意味着鸟类。
"Contarra ccetnxniams luryca tanniounons "意味着虫子或害虫。提示："Apoploe vesrreaitais eating Contarra ccetnxniams luryca tanniounons "给出了鸟类吃虫子的图像。
一条线（1/n）
pic.twitter.com/VzWfsCFnZo
- Giannis Daras (@giannis_daras)2022年5月31日
两个月前，OpenAI发布了DALL.E 2（DALL.E的继任者），大张旗鼓。DALL-E 2可以从自然语言的描述中创造出真实的图像和艺术。与DALL.E相比，它的分辨率提高了4倍，而且还能从自然语言的说明中对现有图像进行逼真的编辑。
声称是什么呢？
在一篇有待同行评审的论文《发现DALLE-2的隐藏词汇》中，Daras与Alexandros G Dimakis（UT Austin教授，机器学习和信息理论研究员）一起解释了他们的发现。二人通过API对该模型进行了查询访问。
作为实验的一部分，研究人员向DALLE.2提示了以下句子或它们的变体之一。
- 一本书，上面写着蔬菜这个词。
- 两个人在谈论蔬菜，有字幕
- 用10种语言写的蔬菜这个词
DALLE.2根据提示创造了图像--上面写有文字。在人眼里，这些文字似乎是胡言乱语。研究人员声称，这些文字实际上并不像它看起来那样随意。两人指出，在一些情况下，它与需要翻译的单词密切相关。
研究人员举了一个例子。
如果你用文本提示DALL.E 2。"两个农民在谈论蔬菜，有字幕。"你会得到2（a）中的图像。他们解析了图像中的文字，并用生成的文字提示模型2（b），（c）。研究人员得出结论："Vicootes "是指蔬菜，"Apoploe vesrreaitais "是指鸟类。
作者说，这种方法并不总是有效。有些情况下，生成的文本在提示回模型时给出随机的图像。但是通过一些操作--比如选择一些单词，运行不同的生成文本--他们可以找到那些看起来随机的单词，并与一些视觉概念相关联。
每个人都不同意
"不，DALL.E没有秘密语言。(或者至少，我们还没有找到)。这个病毒式的DALL.E主题有一些相当惊人的说法。但也许它们如此令人震惊的原因是，在大多数情况下，它们不是真的，" 研究分析员本杰明-希尔顿说。"我最好的猜测？这是一个随机的机会，"他说。
让我们从一些基本的主张开始。
1)@giannis_daras说 "Contarra ccetnxniams luryca tanniounons "意味着虫子或害虫。
这似乎就是错的。
如果我把 "Contarra ccetnxniams luryca tanniounons "输入DALL-E，我得到的是这样的结果--很多不同的动物。
(2/15)pic.twitter.com/RGHeRw1pmb
- 本杰明-希尔顿（@benjamin_hilton）2022年5月31日
研究人员自己也指出了局限性。作者称，胡言乱语的提示可以用于后门对抗性攻击。
关于DALLE-2的隐藏词汇的更新。
虽然我们收到的很多反馈是建设性的，但有些意见需要解决。
一个主题，有一些新的胡言乱语文本和一些讨论
（1/N)
- Giannis Daras (@giannis_daras)2022年6月3日
"研究人员说："持续生成图像的荒谬提示，挑战了我们对这些大型生成模型的信心。这两人强调需要进行更多的基础研究来解释这一现象。
在YCombinator的一个主题中，评论者们意见不一。一个人指出，这种现象是可以预期的。由于模型是在自然语言的互联网数据（有错别字、缩写等）上训练的，机器总是试图将这些词与其他语义接近的词联系起来。
语言技术教育家Rachael Tatman也试图在一系列的推文中解释这一现象。她称Daras和Dimakis的论文很有帮助，因为它强调了人类以 "语言 "的方式看待事物是多么容易。她指出这是一个很好的例子，说明大模型可以变得很奇怪。
好吧，好吧：它得到了足够的牵引力，我想我需要以NLP中认证的暴躁的语言学家的身份来处理这篇论文。
(我一般尽量避免在公开场合对学生进行同行评议，但在这一点上，它肯定*已经很公开了，所以
。)https://t.co/mD6zceqnup
- Rachael Tatman (@rctatman)2022年5月31日
谷歌大脑的研究科学家Rapha Gontijo Lopes认为，"秘密语言 "的说法似乎主要是标记器效应，人们也可以进行反推。他用一个例子说明了这一点。他从维基百科中挑选了两个鱼类家族 "Actinopterygii "和 "Placodermi"，然后用 "placoactin knunfidg "提示DALL.E 2，它持续生成了鱼类图像。
The postWhen AI has a secret languageappeared first onAnalytics India Magazine.
