万字全面评测(上篇):文心一言 vs ChatGPT

207 阅读8分钟

摘要:这是对标评测百度文心一言和 OpenAI 的 ChatGPT(包括 3.5 和 4)的上篇。豆茉君从获取条件 Availability 和功能体验 Functionbility 两大主题、7 个方面展开了评测。

前言

2023 年 8 月 31 日凌晨,百度文心一言率先向全社会全面开放,用户可以下载手机 app 或通过电脑官网直接注册使用。这是我国《生成式人工智能服务管理暂行办法》(简称《办法》)自 8 月 15 日施行以来的首批对外开放服务的大语言模型,意味着首批类 ChatGPT 大语言模型应用产品在我国正式向市场开放

除百度(文心一言)外,首批上线的其他 7 个大模型还有:抖音(云雀大模型)、智谱AI(智谱清言)、中国科学院(紫东太初大模型)、百川智能(百川大模型)、商汤(商量SenseChat)、MiniMax(MiniMax开放平台)、上海人工智能实验室(书生通用大模型)等。

豆茉君使用 ChatGPT 已有大半年,从一开始的新鲜好奇到现在的离不了手,晚上躺床上跟它对话,就跟谈恋爱一样放不下来。老婆说了:“要不你跟它过。” 熟能生巧,使用了这么久,豆茉君对 ChatGPT 的性格秉性、能力优势、乱话敷衍有了直观和感性的认识。

借此机会,豆茉君将站在一个普通使用者的角度,全面梳理大语言模型应用的比较优势和特点。OpenAI 的 ChatGPT 3.5 是公认的标杆产品,不仅因为它向用户开放得最早,也是因为从技术发展上来看它也是划时代的。因此,豆茉君也将以 ChatGPT 3.5 为标准,对标评测百度文心一言和 GPT-4。

做评测,最重要的是评价标准,也就是指标体系。根据豆茉君这几个月的深度使用,我将评价指标体系设置成 4 大主题共 17 个方面:

先说结论,一图胜千言:

下面是正文:

A. 获取条件 Availability

A1 网络要求

百度文心一言在国内可以正常访问。

OpenAI 的 ChatGPT 不行,这里就不展开了。

A2 开放范围

百度文心一言应用在国内可以直接使用,注册的时候需要中国大陆手机号。

百度文心一言 API 的使用只需要注册百度智能云即可。

OpenAI 的 ChatGPT 应用在全球160个国家可用,33个国家不可用(包括中国,详见:platform.openai.com/docs/suppor… 并没有明确说明不可用的国家和地区的原因,但可能是由于当地的法规和法律问题,商业或战略决策,或其他障碍。

注册的时候需要有当地手机号接收短信,且还会检查 IP 归属地。所以,在国内想用上 ChatGPT 还需要多费一番周折。

OpenAI 在全球范围内提供 API 访问,并致力于扩大服务范围,以便能够为更多人提供服务。但是,通过 ChatGPT 官网调用 API 需要用境外线上支付,不支持中国的银行签发的各种信用卡。

目前也可以在微软 Azure 上的 OpenAI Service 中调用。因为微软 Azure 在国内可以使用,所以该服务国内也是可以调用的。

A3 费用标准

文心一言目前通过页面或者app使用都是免费的。而在百度智能云上调用 API 是要付费的。

直接使用应用的话,ChatGPT 3.5 是免费的,GPT-4 是 20美元/月 的付费使用,并且每 3 小时限制 50 次问答。

调用 API 的话,官方价格:

微软 Azure API 服务价格与官方一致:

F. 功能体验 Functionbility

F1 界面交互

文心一言有网页版和app版可供使用。

网页版提供了对话模块、问题建议欢迎页、插件选择和一个指令中心,从易用性和操作简便度上,都是完胜 ChatGPT 的。

app 版(苹果、安卓都有),不得不说百度的官方 app 做得比 ChatGPT 也要好用很多,里面不光有对话模块,还有社区和发现,加入社交功能以后,普通人在使用的时候更加实用方便了。

再看看 ChatGPT ,它也有网页版和 app 版可供使用。

网页版,是不是很简洁。左边是对话列表,右边是对话区域。有简单的问题建议。如果你的页面元素没有我丰富,是因为豆茉君还用了一些 Chrome 插件。

另外豆茉君订阅了 ChatGPT Plus,可以使用 GPT-4

手机 app 也有苹果版和安卓版,依然简洁到你都觉得不划算:

豆茉君认为,ChatGPT 的产品做得如此简单,可能是因为:

1、与百度相比,OpenAI 毕竟是小公司人不多,绝大部分的人力都投入到研发了,做界面功能并不是他们的主要工作。

2、国外开发者社区做得不错,大家都很活跃,会发布很多小插件到例如 Chrome 应用商店、油猴这种平台上供用户选择,能够极大的丰富页面本身的功能。

百度是大厂,做的 C 端产品交付比 OpenAI 重。而 OpenAI 的 ChatGPT 依托了国外异常活跃的开发者社区,大大发挥了“群众”的力量,对于普通用户来说,也是很大的福音。

比如,我再开启一个 Chrome 插件,功能就多了不少:

而类似这样针对 ChatGPT 网页版做优化的插件多得你数都数不过来,这里面也有很多优秀的国内程序员。

但是考虑到玩转这些七七八八的东西对于国内的普通用户还是不友好,所以总体来看,百度的官方产品做得丰富多彩更适合中国消费者的需求。

F2 网络访问

由于大语言模型的训练都是基于历史语料进行的。例如,ChatGPT 模型训练数据只截止到2021年。

而文心一言,不愿意告诉我真相。

所以你问的所有有关时事热点的事情它都答不上来或者瞎编。为了弥补这个缺点,可以结合传统搜索引擎和爬虫技术,在对话上下文中去搜索相关网络讯息,让 AI 知晓最新的信息。

百度文心一言,官方直接提供了官方插件(百度搜索),便于用户搜索最新的网络资讯。因为百度是搜索发家的,这么做完全符合他们的利益。

对于 ChatGPT 来说,官方并没有任何功能去支撑。所以,这个工作交给了官方插件库(GPT-4)和 Chrome 插件商店,有非常多的插件用来增加这个功能。

官方 GPT-4 插件:

Chrome 插件:

F3 文件上传

文件上传的目的,也是为对话的上下文环境引入更确切的信息,以便增加对话的针对性,最后获取更好的回答。例如,当你要询问 AI 对于某一篇论文的主要观点时,你可以把论文 pdf 上传到对话框中,让 AI 读一遍以后,你再开始找它要各种答案。

百度文心一言官方插件 “览卷文档” 就是起这个作用的。打开以后,就可以在输入框上传文件了。

ChatGPT 这边,GPT-4 才能用的官方插件库是有很多这种插件的:

当然,ChatGPT 3.5 要用的话,可以找 Chrome 应用商店下载插件:

F4 分享对话

当你需要把自己的对话分享给朋友、分享到社区论坛中的时候,你将用到这类功能。

在文心一言的页面左侧对话列表中,当鼠标移到标题卡片上面,点击分享,就能够获取一个分享链接。

当你的朋友拿到这个链接以后,会被引流到文心一言注册使用。不过豆茉君在测试的时候发现,朋友登录以后并不能直接顺着你的对话继续,也就是说被分享者只能看看下图这个页面。而这方面,ChatGPT 是可以的。

ChatGPT 官方也是支持分享对话的,

朋友拿到链接以后,在浏览器打开,如果登录自己的 ChatGPT,就能直接获得一份对话副本,继续进行对话。这点非常实用。

但是,因为 ChatGPT 没有什么社交功能,所以一些 Chrome 插件会加入社交功能,进行提示词评分排名之类的,建立线上社区(一个国内程序员的例子):

结语

在上篇,豆茉君对标评测了文心一言和 ChatGPT (3.5 和 4)的获取条件和功能体验两大主题。可以说,在这两个方面,对于中国的普通用户,那文心一言都是赢麻了,比 ChatGPT 强太多。

在下篇,豆茉君将重点对标评测它们的性能表现和开发友好度,敬请期待。

求各位点赞、收藏加关注,你们的肯定是豆茉君的灵感和动力之泉。

-(上篇完)-