苹果在2024年6月11日进行发布,重点发布了apple intelligence框架支持的Siri能力,印象深刻。主要是关于app intent框架能力。
首先,从它的主打场景开始。
一,帮我编辑一条明天发送的信息。
二,帮我找到我在纽约拍的照片,然后把这个照片进行增强渲染。
这里面每一个用户意图都是由几个app协作完成的。这个不就是我们所谓的用户意图吗?不像以前一样,你需要切换几个app来完成这个操作。
它是怎么做到的? 它提供意图框架app intent framework,每一个app的开发者可以接入这个意图框架。根据意图框架提供的接口。比如,你支持API哪些输入参数,你支持哪些能力。基于这些标准的能力,Siri可以按照意图可以进行编排。 意图编排我认为是用到了大模型的思维链能力,可以把你的自然语言拆解成执行的几个步骤。
其次,它的另外一个主打场景,个人助手。
妈妈从机场回来,我跟她在聊天,聊天内容里面有哪个机场,同时我还说了中午要一起吃饭。另外,你可能在邮件里面有订票信息。 它把所有的信息汇总起来,形成一个个人助手源,这样你产生一个意图的时候,它可以进行信息的分析和处理。
它又是怎么做到的呢? 我认为包括手机内所有的信息汇总成一个个人的大模型数据,通过数据集的不断训练,形成了一个你自己的大模型。
这里的关键技术,我认为就是大模型copilot和agent,苹果完美的做到了!