获得徽章 7
这个53页的文档泄露了 OpenAI 关于 Q* 项目的最新进展,给大家总结了一下:

这篇文章详细揭示了 OpenAI 制定的计划,旨在到 2027 年前创建出与人类智能水平相当的人工通用智能(AGI)。文档中提到,OpenAI 从 2022 年 8 月开始训练一个拥有 125 万亿参数的多模态模型,称为 Arrakis 或 Q*。该模型在 2023 年 12 月完成训练,但因推理成本过高而取消发布。原定于 2025 年发布的 GPT-5 被取消,而 GPT-4.5(Gobi)被重新命名为 GPT-5。由于 Elon Musk 最近提起的诉讼,原本计划中的下一阶段(原 GPT-6,现在重命名为 GPT-7,原计划于 2026 年发布)已被搁置。计划中的 Q* 2025(GPT-8),预计在 2027 年实现完全的 AGI,也因此受到影响。文档还讨论了 AI 性能与参数数量的关系,以及 OpenAI 如何利用已有的技术细节和数据量实现 AGI 的目标。
drive.google.com
展开
1
对比测试了一下刚刚发布的 Mistral Large 和 GPT-4,使用相同的 prompt 来总结文章,感觉 Large 能力逼近 GPT-4 了。左图是 Mistral Large,右图是 GPT-4

测试网站:chat.lmsys.org
江昪于2024-02-28 16:53发布的图片
1
Google最近发布了Gemma,这是一组新的开源大型语言模型,规模分别为2B和7B。根据公布的信息,Gemma的性能超过了Llama2(在7B和13B规模上)以及Mistral-7B模型。特别值得注意的是,Gemma模型可以免费用于商业用途,这一点对于希望使用这些技术的公司和开发者来说是一个巨大的利好。

在过去的一年中,Llama2的发布激发了社区建立了许多分支版本,而Gemma凭借更优的基线性能,为大家提供了另一个可用的基础模型。这种开放源代码的趋势将进一步加速预训练系统的普及,不仅在纯文本推理领域,还包括多模态系统。

实际上,社区正逐渐转向一系列小型的“专家”模型,而不是单一的“通才”模型,因为这对于开发可靠的应用程序来说,更加实用易于采用和适应。特别是在使用混合专家(MoE)进行微调的模型经常比大型通用模型表现得更好的情况下,这一趋势变得尤为明显。

🚀2024年,随着社区展示了通过MoE微调的模型往往优于大型通用模型,这一年将是展现这些成果的一年。

ai.google.dev
展开
评论
聊一下 SSE 技术,第一次知道 SSE 是看到 ChatGPT 用了,简单了解了一下发现非常适合我一个小项目的场景:

一个后端处理文章的 node.js 逻辑,首先将英文的 markdown 翻译成中文,然后调用第三方接口判断文章的标签和分类。一共涉及到三个串行的第三方接口,最终将结果输出到前端的编辑器页面。用了 SSE 后,可以在每个任务完成后,告诉前端,这样前端的用户体验得到很大提升。

顺便说一嘴,这段 SSE 的 express 代码还是 ChatGPT 帮我写的。
展开
评论
上周五发布的开源项目 Hugging Chat Assistants,作为GPT Store的一个免费替代品,该项目已经取得了显著的成绩:用户已经创建了4000个助手,并且已有1500用户与名为“Clone of HF CTO”的助手进行了互动。该平台允许用户查看和自定义所有提示以改进自己的助手,且完全免费使用,同时支持选择最优秀的开源模型。基于社区的初步反馈,HF 团队正考虑增加更多功能,如通过API编辑助手、添加 RAG 和网络搜索功能、通过AI生成助手缩略图、在其他用户的助手上建议更改以及持续添加新模型等。
huggingface.co
展开
评论
Deno 发布了年终总结2023年,Deno在提升与Node/npm兼容性和性能方面加速发展,同时继续朝着极大简化Web开发的目标迈进。以下是2023年发生的一些主要变化的总结:

- Deno现在能理解`package.json`文件,并能够使用`node:`前缀(如`node:fs`和`node:crypto`)导入内建的Node模块。
- 一个新的Web服务器API,`Deno.serve`被稳定下来,HTTP吞吐量在一年内提高了约73%。
- `deno compile`现在支持workers、动态导入和npm模块。
- Deno在其APIs中更好地使用了Web流(`ReadableStream`和`WriteableStream`)和`AbortController`,以缩小浏览器和服务器端编程之间的差距。
- Deno的配置文件`deno.json`现在也充当导入映射,我们简化了架构,增加了glob支持和一个顶级的"exclude"属性,这些都允许对Deno的执行进行简洁的调整。
- 开源笔记本工具Jupyter增加了对使用Deno的JavaScript和TypeScript的支持。
- 在近一年的开发后,WebGPU终于被添加到Deno中。
- Deno的零配置TypeScript获得了更好的编辑器集成,LSP和VS Code集成得到了大幅改进。
- 原生的Deno Web框架Fresh在功能上成长,支持了Tailwind、Partials和布局文件。
- Deno Deploy变得更加强大,具有全球分布式原语:Deno KV、队列、Cron。
- 我们发布了自助子托管服务,供那些希望部署和执行不受信任的多租户JavaScript的平台使用。
展开
评论
Hacker News 上的热门讨论:你用大语言模型做过什么项目?
数百个开发者提交自己的项目并参与讨论,来看看大家在做啥应用:
评论
JetBrains 最近陷入用户对 AI 助手的抵制中,用户抵制的原因主要有:安全性、法律风险、隐私和大型语言模型的伦理问题。

JetBrains 在去年12月引入了一款名为 JetBrains AI Assistant 的人工智能助手,旨在帮助程序员编写代码。这个 AI 助手与 GitHub Copilot 类似,但其深度集成于 JetBrains 的开发环境(IDE)、代码编辑器和其他产品中。尽管基于 LLM 的服务广受炒作,但围绕安全性、法律风险、隐私和大型语言模型的伦理问题仍未得到解决。目前,JetBrains正试图解决如何允许客户完全移除这一AI助手的问题,因为一些客户强烈希望他们的JetBrains应用程序中不包含AI助手插件,原因包括与公司政策不兼容等。但由于插件代码“深度集成”,移除变得复杂。
展开
2
Quora 曾经是一个充满活力的社区,专注于提供准确、有深度的问答的社区。但是今天的 Quora 已经大不如前,充斥着无意义的重复内容、奇怪的提问、充满恶意和AI生成的回答,以及大量的垃圾信息。这篇文章作者访谈了 Quora 的早期 KOL,认为 AI 技术的引入和管理上的问题被认为是导致 Quora 质量下降的主要原因之一。

- 🌐 Quora曾是互联网上一个以准确性和知识为中心的问答平台,吸引了许多专家和热心用户的参与。
- 📉 近年来,Quora的内容质量急剧下降,充斥着重复无意义的内容和AI生成的回答。
- 🤖 AI技术的引入和管理上的问题被认为是导致Quora质量下降的主要原因之一。
- 💸 尽管Quora最近获得了7500万美元的投资,但这主要用于发展其生成文本聊天机器人Poe,而网站内容的质量问题依旧存在。
- 🚫 许多曾经活跃的用户和贡献者因为对网站的方向和管理不满,选择离开Quora。
- 🔍 文章通过访谈 Quora 的早期成员和 KOL 的经历,展示了Quora社区如何从一个高质量的知识分享平台变成今天这样的状态。
展开
2
AI Grant 还有十多天就要截止报名了,AI 创业者一定要试一下。AI Grant 是一个针对人工智能创业公司的加速器项目,由 Nat Friedman 和 Daniel Gross 创建。该项目为参与的创业公司提供两种资金选择:一是 25 万美元的无上限 SAFE(简单协议未来股权),二是 250 万美元的 2500 万美元上限 SAFE。此外,还提供价值 35 万美元的 Azure 云服务信用额度和额外 24 万美元的信用额度。

项目还包括在旧金山举行的峰会,邀请顾问和创始人参加,以及一个仅限邀请的演示日,邀请世界级投资者参加。目前,该项目的第三批申请已开放,将于 2 月 16 日截止。
展开
评论
Webkit 团队的 Interop 2024项目发布了年度总结博文,这个项目通过促进浏览器引擎团队深入关注特定领域来改善互操作性。通过选择开发人员少用的重要特性以及新技术,该项目不仅修复长期存在的问题,还确保新技术从一开始就具备互操作性。今年的重点包括无障碍性、CSS嵌套、自定义属性、字体大小调整等17个关注领域。Interop 2023已取得显著进展,例如P3色彩支持、表单控件的垂直书写模式支持,以及Web组件、CSS伪类等的增强。Interop 2024继续这些努力,目标是让开发者更有信心地使用这些技术。

1. 🌍 互操作性提升:鼓励浏览器引擎团队关注特定技术领域,改善不同浏览器间的兼容性。
2. 🛠️ 重点技术选择:包括长期存在问题的技术和新兴技术,共17个关注领域。
3. 📈 Interop 2023的影响:显著进展,例如P3色彩的全面支持,表单控件的垂直书写模式等。
4. 🎨 CSS边框图像:现在按照原始设计正常工作。
5. 🌐 Web组件和CSS伪类增强:例如adoptedStyleSheets,ElementInternals等。
6. 🖼️ 媒体查询4规范:现在在所有要浏览器中得到支持。
7. 🎨 CSS遮罩、HTML表单改进:包括指针和鼠标事件,滚动,变换等。
8. 🆕 Interop 2024的新焦点:无障碍性,CSS嵌套,自定义属性,声明性阴影DOM等。
9. 🔍 无障碍性测试:新增1300多个无障碍性测试。
10. 📐 CSS嵌套:现在所有主要浏览器中得到支持。
11. 📏 字体大小调整:提供一种方法,让文本中不同字体的视觉大小一致。
12. 🔗 HTTPS URL用于WebSocket:简化WebSocket API的使用。
13. 💾 IndexedDB:强大的客户端数据存储API,需要进一步的互操作性改进。
14. 📦 CSS布局方法:Flexbox,Grid和Subgrid的测试和改进。
15. 🖱️ 指针和鼠标事件:继续改善这些事件的互操作性。
16. 🌐 其他关注领域:包括弹出层,相对颜色语法,滚动条样式等。
17. 2024年的调查项目:包括无障碍性测试,移动测试和WebAssembly测试。
展开
评论
在本地跑一个大语言模型的成本真高,想在 MacBook M1 上玩一下 CodeLlama 70b,首先模型就38GB了,下载了40多分钟才80%的进度。运行这个模型还得最少38GB的内存,我 32GB 就显得很尴尬。
江昪于2024-01-30 16:01发布的图片
10
OpenAI发布了新一代嵌入模型,更新了GPT-4 Turbo和GPT-3.5 Turbo模型,推出了更有效的API使用管理工具,并且即将降低GPT-3.5 Turbo的价格。新的嵌入模型包括更小巧高效的text-embedding-3-small模型和更强大的text-embedding-3-large模型。新模型在多语言和英语任务的性能基准上表现更佳,同时引入了降低嵌入维度以优化性能和成本的技术。此外,OpenAI还推出了更新的内容审查模型和API使用及管理工具的改进,以提高开发者的效率和安全性。
展开
3
谷歌与初创公司 Hugging Face 合作,在 Google Cloud 上托管 AI 软件,加强与开源 AI 社区的联系,并推动 AI 领域的创新和发展。

1. 通过此次合作,Hugging Face 平台上的开发者将能够利用 Google Cloud 的计算能力和专用芯片来开发模型和其他生成式 AI 产品。
2. Hugging Face 首席执行官 Clement Delangue 表示,这项新合作将使 Hugging Face 用户和 Google Cloud 客户能够轻松地共同利用最新的开放模型。
3. 谷歌参与了 Hugging Face 的最后一轮融资,该轮融资使初创公司的估值达到了45亿美元。
展开
评论
AK 提出了一个很有意思的下一代SEO的概念,为了让大众爱上你的产品,可以通过给 LLM 喂大量的正向数据,LLM 的用户在提到这个产品的时候,回复的内容都是溢美之词。只要100美元,你感兴趣不?

当然 AK 在开玩笑,但是也从侧面说明训练集的数据如果受到污染,是会影响到用户决策的。
展开
江昪于2024-01-17 11:17发布的图片
评论
@sama 在最新一期 YC 训练营启动会上,内部分享了一些关于 LLM 的最新进展。他认为,我们已经接近于实现通用人工智能(AGI),并且应该以此为目标进行迭代。他还提到,GPT-5 可能会是一个相比 GPT-4 的指数级飞跃,尽管 GPT-4 已经发布近两年,目前还没有哪个模型能超越它。

LLM 的快速发展对创业公司和现有企业都带来了许多问题。目前,大家普遍预期模型的改进只是逐步演进,但事实似乎并非如此。因此,他建议正确的做法可能是使用最先进的模型(State of the Art,SOTA),而不是花太多时间进行微调和过早优化。

他认为,更好的策略是设想一个“godlike(类似神的)”模型会如何运作,并以此为基础来构建最好的产品。他以 Cognosys 公司为例,说明他们正努力利用智能代理来打造最佳产品和用户体验,而不是从头开始训练模型或过早进行优化。他相信,模型越好,他们的产品就能有质的飞跃,甚至能提高10到100倍。
展开
江昪于2024-01-12 15:27发布的图片
评论
Midjourney 最近组建了一个硬件团队,专注于3D数据的收集工作,未来可能会进入个人计算领域。他们提到了一种名为「Orb」设备,这种设备可以让任何人组织和管理成千上万的虚拟3D空间。

这表明 Midjourney 正在探索3D数据和虚拟空间相关的硬件解决方案。3D数据收集是创建高质量虚拟环境的关键步骤,这可能涉及到图形渲染、空间建模等技术。而提到的“Orb”设备,听起来像是一个创新的设备,用于更高效地处理和管理复杂的3D空间。附图是链家VR看房用到的3D拍摄设备:
展开
江昪于2024-01-12 11:12发布的图片
评论
下一页
个人成就
优秀创作者
文章被点赞 14,911
文章被阅读 887,543
掘力值 29,995
收藏集
7
关注标签
83
加入于