还有 Phi-3 多模态模型
发自 凹非寺 量子位 | 公众号 QbitAI
今天，微软的生产力革命有了最新进展——
它正在将 AI 塞进所有可能找到的角落和缝隙。
除了在大会前一天就已剧透 Copilot+PC，Build 大会上微软还有超多释出成果：
- Copilot 持续升级：自定义 Copilot、Team Copilot 以及 Copilot 扩展等。总的来说，所有开发者都可以定制和扩展 Copilot，而团队协同工作也更加方便。
- 将小模型进行到底，Phi-3 能轻松在 PC 端、手机端运行，还有首个多模态模型 Phi-3-vision。
还有这些细节更新，比如 Microsoft Fabric 的实时智能功能，能对实时、高精度的业务数据进行分析管理，帮助企业决策；Edge 浏览器增加 AI 实时视频翻译功能；AI PC 原生支持 PyTorch……
开幕式上，纳德拉一上场就道明了今天这场大会的意义。
微软三十多年来有两个梦想，一个是计算机是否可以理解我们，而不是我们必须理解计算机？第二个是在这个信息不断增加的世界里，计算机能否帮助我们根据所有这些信息进行推理、规划和更有效地采取行动？
而这一波 AI 浪潮，就是微软梦想的答案。
Build 大会展现的各种各样的生产力场景，也正是微软实现梦想的舞台。
开幕式尾声，奥特曼还站台亮相，回应和剧透了新模型的一切。
市场上微软股价也是一片向好，一度飙升到了 431.84 美元。该说不说，这两天微软都涨麻了。
咱先从 Copilot 持续升级说起。
面向开发者和团队，微软推出 GitHub Copilot 扩展，可通过第三方服务功能用自然语言交互自定义 GitHub Copilot 体验。
可以立即部署到 Azure，用语言交互即可获取管理 Azure 资源，比如向 Azure 询问 Web 应用程序的部署位置，一键排除故障查找相关代码：
任何开发者都可以为 GitHub Copilot 创建扩展，包括堆栈中的各种工具以及自己内部的工具。
打开 Copilot WorkSpace，可以查看整个代码库，并提出修改建议。Copilot 会自动根据定制进行修改：
微软还推出了 Copilot connectors，方便开发者用第三方业务数据、应用和工作流程定制 Copilot。
除此之外，微软 Copilot 继续升级，推出 Team Copilot，从此 Copilot 不仅是个人助手，更是可以变成团队中的一员。
可以把它拉到团队群里面，充当会议主持人，Copilot 可以实时记录下会议中的全部内容：
根据团队讨论进度，一键整理主题、做笔记，同时支持群内其他人对其记录的内容进行修改：
讨论中遇到问题也可以直接向 Copilot 提问：
当团队成员就某一讨论达成一致观点，Copilot 会一键实时更新之前的笔记内容：
与此同时，微软 Copilot Studio 推出全新自定义 Agent 功能。
开发者可以自定义 Agent 职位，也可以从现成的模板里挑选：
开发者可以将权限委派给不同的角色的 Copilot，自动化业务流程。Copilot 在遇到不了解且无法处理的问题时，甚至会自动向你展示问题并寻求帮助。
此外，Agent 还具备根据用户反馈进行学习等能力。
纳德拉现场表示：
我认为这是未来一年中真正能够带来变革的关键因素之一。
除此之外，微软还更新了自己的模型——Phi-3，继续将小模型（SLM）进行到底。
主要有这几个型号：
- Phi-3-mini，38 亿参数，支持 128k 和 4k 两种上下文。
- Phi-3-small，拥有 70 亿参数，支持 128k 和 8k 两种上下文长度。
- Phi-3-medium，140 亿参数，支持 128k 和 4k 两种上下文长度。
- Phi-3-vision，42 亿参数，支持 128k 上下文。
- Phi-3-Silica，33 亿参数。
其中 Phi-3-mini 在今年四月份就已经首次亮相过，当时在基准测试中，能力与 LIama2 相当，收获了不少关注。加上 Phi-3-small 和 Phi-3-medium，他们可以通用 Azure Machine learning 的模型目录和集合进行访问。
作为最小的模型 Phi-3-Silica。从 6 月份开始，Phi-3-Silica 将嵌入到 Copilot+PC 中面世。它是整个 Phi-3 型号中最小的一块，只有 33 亿参数。
微软声称，第一个 Token 输出速度为每秒 650 个 token，只需损耗 1.5 瓦功率，换言之不会占用其正常工作和内存。持续运行时，token 生成重用了 NPU 的 KV 缓存，并将在 CPU 上运行，每秒生成 27 个 token。
Phi-3-vision 则是 Phi-3 家族中的多模态大模型，它可以直接在移动设备上使用。
在 Phi-2 模型基础之后，Phi-3-vision 能执行日常的视觉推理任务。
而且专门针对图表进行了优化，能够分析图表中的信息并回答用户提问。
在发布会现场，纳德拉展示了这样的一个 DEMO：把一张图表丢给 Phi-3-vision，内容是关于不同年龄段的人在工作中使用 AI 工具的情况。
结果 Phi-3-vision 准确提取了图中的各组数据，并对不同年龄层的结果进行了比较分析，给出了详尽的报告。
但跟其他大模型不同的是，Phi-3-vision 目前只能读取，无法生成。
而在测评成绩方面，Small 和 Medium 两个纯文本模型，整体表现都超过了近似规模的其他模型。
甚至不到 40 亿参数量的 Mini，也超过了 2 倍于自己的 Llama3-8B。
具体来看，先是 Small 在各种语言、推理和数学方面的一系列测试中击败了 GPT-3.5-Turbo，不过代码能力小幅落后，知识储备上的差距就比较明显了。
Medium 版本对标的则是 Claude3-Sonnet 和 Gemini 1.0 Pro，擅长的任务也和 Small 类似——语言理解、推理和数学是强项，知识储备是短板。
同样，多模态的 Vision 在语言上也延续了单模版本的优势，在部分视觉任务是还超过了 GPT-4v-Turbo。
特别是专门优化过的图表推理任务中，Phi-3-Vision 在 ChartQA 数据集上取得了超过 80 分的成绩，遥遥领先于 GPT-4v。
纳德拉仍然表示 OpenAI 是微软最重要的战略合作伙伴。在发布会进行两小时后，正身处舆论风暴中心的奥特曼亮相了，为整个主题演讲完成闭幕。
不过这次倒是没有跟纳德拉同台，而是跟微软 CTO Kevin Scott 站到了一起。
在短短 9 分钟的讲话中，他谈到了 OpenAI 下一步计划、GPT-4o 以及给开发者的建议。
他首先谈到 GPT-4o 的发布，这是 “疯狂的一周”。他称从从来没见过一项技以如此有意义的方式被迅速地采用。
对于最新的寡姐语音风波，奥特曼虽然没有提及，但是特别 cue 了下他们的语音模式。
随着人工智能速度的提高和成本的下降，OpenAI 已经能够引入语音等新模态；
语音模式对我来说实际上是一个真正的惊喜。
最后，面对在场的开发者们，奥特曼提供了这样一个建议。
他表示，现在正是一个特殊时刻，要充分利用好他，不要等待构建你想要做的事情。这可能是自手机问世以来，甚至自互联网问世以来，我们所见过的最激动人心的时刻。不过，不要指望人工智能会为你做所有的工作；它本身是一种推动力，但它并不会自动打破商业规则。
奥特曼还预告，OpenAI 最新最强大模型即将发布——
现在能剧透的似乎很无聊但也很关键，新模态、整体智能，史无前例地强大。
参考链接：
build.microsoft.com/en-US/sessi…
版权所有，未经授权不得以任何形式转载及使用，违者必究。
