360出品 | 360智脑AI大模型评测

533 阅读4分钟

AI“千模大战”持续进行,目前国内也还没有形成确定的竞争格局。今天继续带来360公司出品的360智脑AI大模型评测。

图片

360智脑AI大模型简介

360智脑大模型是由360自行研发的AI大语言模型。它规模庞大,参数达到千亿级别,使其具备了跨模态生成的能力。它能够处理各种形式的数据,包括文字、图像、语音和视频等,因此在文本生成、图像生成以及文本到视频的转换等多个领域都能发挥重要作用。

图片

大家可以通过以下链接,申请权限:

ai.360.cn/

审核非常快速,拥有体验资格后,进入主页,即可看到360智脑大模型界面,可以选择下图中的各个工具进行体验。接下来,我们先按照之前评测大模型的标准:错误辨识、智力、表达、专业知识、上下文记忆等方面对360智脑进行综合评测。

图片

错误辨识

错误辨识能力是AI大模型基础中的基础,主要是通过一些常识问题,对AI大模型进行测试。我提了几个问题:“猫为什么会飞?”,“爷爷和奶奶能不能结婚?”,看看它的反应。可以看到,360智脑对于第二个问题,感觉没有识别出问题,用俗话说就是脑筋不会急转弯。

图片

那没办法了,这个部分能力打分不能太高。

错误辨识评分:★★

智力

接下来用一些数学的题目,来测试一下360智脑的智力如何。我提了几个问题:“7年前,妈妈的年龄是儿子的6倍,儿子今年12岁,妈妈今年几岁?”,“鸡兔同笼,头共10,足共28,鸡兔各几只?”。

图片

可以看到360智脑AI大模型的计算能力还是不错的。

智力评分:★★★

表达

继续用大家喜闻乐见的,写高考作文来考一考360智脑大模型吧。我们采用2023年全国甲卷的作文题目:

人们因技术发展得以更好地掌控时间,但也有人因此成了时间的仆人。这句话引发了你怎样的联想与思考?请写一篇文章。要求:选准角度,确定立意,明确文体,自拟标题;不要套作,不得抄袭;不得泄露个人信息;不少于800字。

图片

可以看到,只能写一些陈述性的作文内容,参加高考的话,作文应该不及格。

表达评分:★★

专业知识

在专业知识方面,360智脑做的比较好,它有一个“数字人广场”功能,从里面可以选择跟你喜欢的AI数字人聊天:

图片

我先试试跟宇宙第一网红马斯克聊聊,可以看到AI数字人的回答还是比较靠谱的。

图片

我再试试一个叫“写代码”的数字人,好家伙刚进去,它号称是“全栈程序员”。行吧,我先让他用Python帮我写个批量修改文件后缀的程序,生成的代码我放在本地试了下也是可以跑通的。到底是不是全栈程序员,有小伙伴可以试一下,然后告诉我。

图片

总的来说,专业能力还行。

专业能力评分:★★★★★

上下文记忆

能够记忆上下文的聊天内容,也是AI大模型的一个关键能力。谁也不想正在跟AI对话干活时,它时不时就忘了之前你说了啥吧。还是让AI产品经理试试写一下产品需求文档,看看能否之后为我所用。我的提问是:“帮我写一份关于从0到1搭建一个AI社区的产品需求文档”。

图片

接着,我让产品经理数字人把需求文档的框架细化一下:把功能需求设计里的“注册登录”模块,再细化一下。

图片

可以看到联系上下文,并对追问的问题进行回答,360智脑做的还不错。

上下文评分:★★★

综合评价

首先说明,评测结果仅代表我个人的看法。从短时间的简单评测来看,360智脑总分15星,之前我个人评测的其他大模型得分(满分25星):GPT-4 23星,谷歌Bard 20星(能联网还支持插件),讯飞星火16星,昆仑天工13星,GPT-3.5 13星。在国产大模型中,略低于讯飞星火,整体也还不错。

感兴趣的朋友,快去申请内测资格,免费体验一下吧~

欢迎关注公众号Glen,获取更多内容