获得徽章 7
Meta 不小心提前发布了全新的多语言大模型 Llama 3.1 系列，包括 8B、70B 和 405B 三种规模，优化了多语言对话，性能超越许多现有开源和闭源模型。Llama 3.1 使用了最新的优化 Transformer 架构，并通过 RLHF 进行微调，显著提升了模型的安全性和有用性。#人工智能 #大语言模型 #Meta #Llama3.1
huggingface 快照：
web.archive.org
Magnet下载: magnet:?xt=urn:btih:c0e342ae5677582f92c52d8019cc32e1f86f1d83&dn=miqu-2&tr=udp%3A%2F%
huggingface 快照：
web.archive.orgMagnet下载: magnet:?xt=urn:btih:c0e342ae5677582f92c52d8019cc32e1f86f1d83&dn=miqu-2&tr=udp%3A%2F%
展开
评论
1
apple 开源的 DCLM 是一个 7b 模型，选用的跟 phi3 一样的方向：高质量的训练数据，把 240T token 的 Common Crawl 训练集精炼到 2.5T token，同时也能保证训练结果的质量。这次开源的力度也挺大，把模型和训练数据都开源了：huggingface.co
huggingface.co 评论
1
ICML2024 的一篇论文介绍了 Algorithm of Thoughts：AoT 比 CoT 不一样的地方是，通过在上下文中提供算法示例，引导模型进行类似算法的思考过程。这种方法只需一次或少数几次查询，就能显著扩展模型的思维探索能力，在多个任务上超越了现有 CoT 方法，同时大幅降低了计算开销。这个想法很精妙。
论文地址：arxiv.org
论文地址：
arxiv.org
展开
评论
1
评测一下能在本地跑的大语言模型的总结文章效果，用的是 Sam Altman 起诉装修公司的新闻，这次评测的有：qwen2 7b, Llama3 8b, Gemma2 9b, phi3 14b, Mistral v0.3 7b, deepseek v2 16b, yi 1.5 9b。试了一圈，推荐大家用 qwen2 和 gemma2。
* qwen2 7b: 总结内容和 emoji 都能很好执行，官司细节都描述到位，除了一些金额没有按照中文口径来，9分
* llama3 8b: 总结内容的指令跟随不错，emoji 也能很好应用，但是回复不是中文，扣大分，4分
* Gemma2 9b: 总结内容的质量不错，中文读起来很通顺，超过预期，但是有一个 sewage 没有翻译正确，瑕不掩瑜，8分
* ph3 14b: 微软家的小规模模型，总结内容还行，但是语句读不通顺，可能是训练数据里面中文内容不够多，6分
* Mistral v0.3 7b: 跟 llama3 的问题一样，输出不是中文，同时对 emoji 和总结内容的数字要求都不达标，有点失望，3分
* deepseek v2 16b: 能很好总结文章以及列出关键信息，但是稳定性很差，试了四次才有一次符合要求的输出 6分
* yi 1.5 9b: 关于列表 emoji 的指令没有很好执行，6分
* qwen2 7b: 总结内容和 emoji 都能很好执行，官司细节都描述到位，除了一些金额没有按照中文口径来，9分
* llama3 8b: 总结内容的指令跟随不错，emoji 也能很好应用，但是回复不是中文，扣大分，4分
* Gemma2 9b: 总结内容的质量不错，中文读起来很通顺，超过预期，但是有一个 sewage 没有翻译正确，瑕不掩瑜，8分
* ph3 14b: 微软家的小规模模型，总结内容还行，但是语句读不通顺，可能是训练数据里面中文内容不够多，6分
* Mistral v0.3 7b: 跟 llama3 的问题一样，输出不是中文，同时对 emoji 和总结内容的数字要求都不达标，有点失望，3分
* deepseek v2 16b: 能很好总结文章以及列出关键信息，但是稳定性很差，试了四次才有一次符合要求的输出 6分
* yi 1.5 9b: 关于列表 emoji 的指令没有很好执行，6分
展开
2
5
就算是身价亿万的 Sam Altman 也要为装修而烦恼。这不，Sam Altman 把他的开发商告上法庭，指控开发商和承包商合谋压缩成本，吃回扣，导致房屋建设质量差。
这套豪宅在旧金山，价值2700万美元，有四层楼、落地玻璃门、开放式庭院、内部电梯，以及一个俯瞰旧金山和恶魔岛的无边际泳池。
www.forbes.com
这套豪宅在旧金山，价值2700万美元，有四层楼、落地玻璃门、开放式庭院、内部电梯，以及一个俯瞰旧金山和恶魔岛的无边际泳池。
www.forbes.com
展开
3
1
来自 UC Berkeley 的 Sizhe Chen 提出了一种名为 StruQ 的系统，通过使用结构化查询来防御提示注入攻击(Prompt Injections)。StruQ 将提示和用户数据分离，通过前端编码和特殊训练的 LLM 来提高安全性。实验结果显示，StruQ 在抵御多种提示注入攻击方面表现出色，同时对模型的实用性影响甚微。
论文地址：arxiv.org
开源：github.com
论文地址：
arxiv.org开源：
github.com
展开
评论
点赞
SmolLM：Huggingface 最新发布的一组高性能的小型语言模型，参数分别为 135M、360M 和 1.7B，训练数据来自高质量数据集 SmolLM-Corpus，其中包括 Cosmopedia v2、Python-Edu 和 FineWeb-Edu。SmolLM 模型在多种基准测试中表现不错， 适合跑在手机这种终端设备上。
huggingface.co
huggingface.co
展开
1
点赞
微软 CTO Kevin Scott 近日做客红杉资本的播客，分享了他对 AI 的看法。他认为 AI 正处于指数级增长阶段，每一代模型都会变得更强大、更便宜、更通用。微软的 AI 战略是打造一个完整的 AI 平台，从前沿模型到小型语言模型,以及高度优化的推理基础设施。我们还没有达到规模收益递减的拐点，未来 AI 将在教育、医疗、科研等领域发挥巨大作用，解决一些零和问题，创造更多价值。
www.youtube.com
AI 模型改进：随着技术进步，AI模型将变得更便宜、更强大，且更少脆弱性。
🌍 Microsoft 的 AI 战略：专注于构建一个全面的 AI 平台，包括从前沿模型到优化推理基础设施，以及开发工具和安全测试，使其他开发者能在此基础上创造有用的应用。
与 OpenAI 的合作: 微软与OpenAI 的合作使得强大的 AI 模型能触达更广泛的用户群体。
🎓 AI 在教育中的应用：AI 可以帮助老师提升教育质量，为孩子们提供更好的学习工具。
🏥 医疗领域的 AI：AI 可以改善医疗系统，例如通过更准确的诊断和个性化治疗方案。
🔬 科学研究的加速：AI 工具可以帮助科学家更快地发现新材料和解决方案，例如在碳捕获技术中的应用。
长期乐观：尽管短期内 AI 存在挑战，Kevin Scott 对 AI 的长期影响持乐观态度，认为它将带来积极的社会变革。
www.youtube.com AI 模型改进：随着技术进步，AI模型将变得更便宜、更强大，且更少脆弱性。🌍 Microsoft 的 AI 战略：专注于构建一个全面的 AI 平台，包括从前沿模型到优化推理基础设施，以及开发工具和安全测试，使其他开发者能在此基础上创造有用的应用。
与 OpenAI 的合作: 微软与OpenAI 的合作使得强大的 AI 模型能触达更广泛的用户群体。🎓 AI 在教育中的应用：AI 可以帮助老师提升教育质量，为孩子们提供更好的学习工具。
🏥 医疗领域的 AI：AI 可以改善医疗系统，例如通过更准确的诊断和个性化治疗方案。
🔬 科学研究的加速：AI 工具可以帮助科学家更快地发现新材料和解决方案，例如在碳捕获技术中的应用。
长期乐观：尽管短期内 AI 存在挑战，Kevin Scott 对 AI 的长期影响持乐观态度，认为它将带来积极的社会变革。
展开
评论
点赞
lmsys 开源了 RouteLLM，这是一个用于服务和评估 LLM 路由器的框架，提供 OpenAI 兼容的服务器，支持多种路由策略，能够在保持高质量的同时显著降低成本。
例如一些不难的问题就转给 Mixtral 8x7b 模型来处理，高难度的才会给 GPT-4o，以此降低成本。
github.com
例如一些不难的问题就转给 Mixtral 8x7b 模型来处理，高难度的才会给 GPT-4o，以此降低成本。
github.com 
评论
1
Hugging Face 推出了全新的 Open LLM Leaderboard v2，使用 300个 H100 来解决模型性能停滞的问题。新版本引入了更具挑战性的基准测试、改进的排名系统和社区投票机制，以确保模型评估的公平性和透明度。
2
2
GPT-4o 发布会上的图片识别和语音交互让人印象深刻，图片识别是最基本的能力，国内的各家大模型对多模态的支持怎么样了？我用一张图片测试了一圈，满分10分：
首先头部大模型打个样：
ChatGPT：识别出来纸杯和印字，而且还认出来杯子里面的菊花茶，语气笃定；9分
Claude：识别到了纸杯及上面的内容，但没有识别出来菊花茶，而且把背景里的柴犬识别错了；4分
Gemini：菊花茶识别成咖啡，0分
通义千问：识别出来杯子和图案，还有菊花茶，超过预期，9分
讯飞星火：识别出来杯子和图案，但是没有识别菊花茶，另外周边的物件都识别出来了，6分
豆包：居然不支持多模态，负分
文心一言：识别到杯子和图案的意思，但是没识别出来菊花茶，周边物品识别也OK，6分
智谱清言：视觉中心的杯子和菊花茶都识别到了，周边物品也OK，语言干练，但是仅仅是罗列，没有描述，7分
海螺AI：不支持多模态，负分
天工：不支持多模态，负分
首先头部大模型打个样：
ChatGPT：识别出来纸杯和印字，而且还认出来杯子里面的菊花茶，语气笃定；9分
Claude：识别到了纸杯及上面的内容，但没有识别出来菊花茶，而且把背景里的柴犬识别错了；4分
Gemini：菊花茶识别成咖啡，0分
通义千问：识别出来杯子和图案，还有菊花茶，超过预期，9分
讯飞星火：识别出来杯子和图案，但是没有识别菊花茶，另外周边的物件都识别出来了，6分
豆包：居然不支持多模态，负分
文心一言：识别到杯子和图案的意思，但是没识别出来菊花茶，周边物品识别也OK，6分
智谱清言：视觉中心的杯子和菊花茶都识别到了，周边物品也OK，语言干练，但是仅仅是罗列，没有描述，7分
海螺AI：不支持多模态，负分
天工：不支持多模态，负分
展开
15
32
Sam Altman 播客更新：OpenAI 今日公布两大重要信息：1️⃣ 我们将最先进的 AI 模型免费提供给大众，希望每个人都能从中受益；2️⃣ 全新的语音和视频模式是迄今为止最出色的计算机交互方式，有如科幻电影般的 AI 体验。OpenAI 致力于创造卓越的 AI 服务，造福全人类。
1
5
GPT-4o 用到的 tokenizer 升级到 o200k_base，相比之前版本的 cl100k_base 对中文（或者说非英文）做了大量优化。如果输入的是英文则差别不大，如果是中文，我用一篇文章试了一下，相差30%左右。
在线测试：gpt4otokenizer.replit.app
在线测试：
gpt4otokenizer.replit.app
展开
评论
1
加州大学圣迭戈分校发布了一致性大语言模型(CLLMs)，这是一种新型并行解码器家族，能够在每个推理步骤高效地解码 n 个 token 序列，大幅降低推理延迟。实验表明，CLLMs 在保持生成质量的同时，生成速度提升 2.4 倍到 3.4 倍，与 Medusa2 和 Eagle 等快速推理技术相当甚至更优，且无需额外的内存开销。这一过程模仿了人类先在脑中形成完整句子再逐词表达的认知过程，可通过微调预训练LLM高效学习。
hao-ai-lab.github.io
hao-ai-lab.github.io
展开
3
6
快来看北欧的极光。这几天受到太阳黑子运动的影响，未来几天内地球将面临连续的地磁风暴，北欧地区可以看到极光。这个网站的摄像头记录了北欧各大山峰的影像，可以往前翻一下时间轴，可以看到明显的极光
www.foto-webcam.eu
www.foto-webcam.eu 
7
8
OpenAI 和 Microsoft 正计划建造一个耗资 1000 亿美元的数据中心和超级计算机，名为 "Stargate"，可能用于训练世界上最强大的 AI 系统。这个超级计算机最早可能于 2028 年启动，并在两年内扩建完成，最终版本可能需要高达 5 吉瓦的电力。
评论
2
OpenAI 的早期风险投资人 Vinod Khosla，现在投资了 Symbolica AI，这是一家由前 Tesla Autopilot 工程师共同创立，致力于开发一种全新的 AI 辅助编程工具。Symbolica 采用与 OpenAI 不同的机器学习方法，旨在减少对大规模计算资源的依赖。#AI #机器学习 #SymbolicaAI #创新技术
www.semafor.com
文章关键信息：
投资者：风险投资家 Vinod Khosla，曾在 2019 年向 OpenAI 投资 5000 万美元。
🚀 新投资：Khosla 最近对 Symbolica AI 进行了大额投资。
创始人：Symbolica AI 由前 Tesla Autopilot 工程师 George Morgan 共同创立。
💡 技术创新：Symbolica 正在开发一种新的 AI 辅助编程工具，采用与 OpenAI、Google 等公司的基础模型完全不同的机器学习方法。
🔄 方法论变革：Morgan 认为，当前 AI 模型的开发类似于炼金术，而 Symbolica 的方法将使这一过程进入化学时代，减少对大规模、耗能计算资源的依赖。
📈 行业观点：Morgan 批评现有的 AI 模型开发依赖于大量数据和计算资源的投机性投资，缺乏数学证明来展示其工作原理。
www.semafor.com文章关键信息：
投资者：风险投资家 Vinod Khosla，曾在 2019 年向 OpenAI 投资 5000 万美元。🚀 新投资：Khosla 最近对 Symbolica AI 进行了大额投资。
创始人：Symbolica AI 由前 Tesla Autopilot 工程师 George Morgan 共同创立。💡 技术创新：Symbolica 正在开发一种新的 AI 辅助编程工具，采用与 OpenAI、Google 等公司的基础模型完全不同的机器学习方法。
🔄 方法论变革：Morgan 认为，当前 AI 模型的开发类似于炼金术，而 Symbolica 的方法将使这一过程进入化学时代，减少对大规模、耗能计算资源的依赖。
📈 行业观点：Morgan 批评现有的 AI 模型开发依赖于大量数据和计算资源的投机性投资，缺乏数学证明来展示其工作原理。
展开
评论
点赞
AMD 是下一个 Nvidia？随着人工智能技术的飞速发展，#AMD 正在迅速成为 #Nvidia 在 AI 芯片市场的有力竞争者。凭借其 MI300 系列数据中心芯片和在 AI 个人电脑领域的领先地位，AMD 有望在未来十年加入价值超过 1 万亿美元的俱乐部，与 #Apple、#Microsoft、#Amazon、#Alphabet 和 #Meta 等巨头并肩。
finance.yahoo.com
文章关键信息：
公司介绍：#AMD 正在成为 Nvidia 在 AI 芯片市场的主要竞争者。
💰 市值潜力：AMD 目前市值为 2700 亿美元，若加入万亿俱乐部，投资者将看到约 270% 的增长。
🚀 产品亮点：AMD 推出的 MI300 系列数据中心芯片专为处理 AI 工作负载而设计，包括纯 GPU 的 MI300X 和集成 GPU 与 CPU 的 MI300A 加速处理单元 (APU)。
合作伙伴：AMD 正与 Microsoft、Oracle 和 Meta 等科技巨头合作，部署 MI300 GPU 以支持 AI 应用。
📈 销售预测：AMD 预计 MI300 系列在 2024 年的销售额将达到 35 亿美元，较三个月前的预测上调了 15 亿美元。
市场份额：AMD 在 AI 个人电脑芯片市场拥有 90% 的市场份额，主要得益于其 Ryzen AI 系列。
💡 技术优势：AMD 的 Ryzen AI 芯片能够在设备上直接处理 AI 工作负载，提供更快的用户体验，并支持高级虚拟助手创建文本、图像和视频等内容。
📊 业绩增长：2023 年第四季度，AMD 的客户端部门收入同比增长 62%，展望 2024 年第一季度，预计将继续快速增长。
finance.yahoo.com文章关键信息：
公司介绍：#AMD 正在成为 Nvidia 在 AI 芯片市场的主要竞争者。💰 市值潜力：AMD 目前市值为 2700 亿美元，若加入万亿俱乐部，投资者将看到约 270% 的增长。
🚀 产品亮点：AMD 推出的 MI300 系列数据中心芯片专为处理 AI 工作负载而设计，包括纯 GPU 的 MI300X 和集成 GPU 与 CPU 的 MI300A 加速处理单元 (APU)。
合作伙伴：AMD 正与 Microsoft、Oracle 和 Meta 等科技巨头合作，部署 MI300 GPU 以支持 AI 应用。📈 销售预测：AMD 预计 MI300 系列在 2024 年的销售额将达到 35 亿美元，较三个月前的预测上调了 15 亿美元。
市场份额：AMD 在 AI 个人电脑芯片市场拥有 90% 的市场份额，主要得益于其 Ryzen AI 系列。💡 技术优势：AMD 的 Ryzen AI 芯片能够在设备上直接处理 AI 工作负载，提供更快的用户体验，并支持高级虚拟助手创建文本、图像和视频等内容。
📊 业绩增长：2023 年第四季度，AMD 的客户端部门收入同比增长 62%，展望 2024 年第一季度，预计将继续快速增长。
展开
评论
3
本周 LLM 新闻汇总：Google 发布 Gemini 1.5 Pro，OpenAI 推出改进版 GPT-4 Turbo，Mistral 发布新模型 Mixtral 8x22B，Command R+ 在 LMSYS Chatbot Arena 排行榜上达到第 6 位。 #LLM #AI进展 #ChatbotArena
🚀 Gemini 1.5 Pro 发布：Google 的最新 LLM，支持 180 多个国家（欧洲除外），每天免费 50 次请求，支持 100 万 tokens 输入，API 价格略低于 GPT-4 Turbo。
🌐 GPT-4 Turbo 更新：OpenAI 发布了功能大幅改进的 GPT-4 Turbo，集成了多模态 GPT-4 视觉处理，提高了写作、数学、逻辑推理和编码能力。
🇫🇷 Mixtral 8x22B 发布：法国 AI 公司 Mistral 发布了新的开源模型 Mixtral 8x22B，参数量大于之前的模型，潜力可能与 GPT-4 相当。
📈 Chatbot Arena 排行榜动态：开源模型如 Cohere 的 Command R+ 在 LMSYS Chatbot Arena 排行榜上达到第 6 位，GPT-4 Turbo 与 Claude 3 Opus 竞争激烈。
技术竞争加剧：过去两个月，多个模型与 GPT-4 竞争，OpenAI 的技术领先地位不再无可争议，期待 GPT-5 的发布可能会改变现状。
🚀 Gemini 1.5 Pro 发布：Google 的最新 LLM，支持 180 多个国家（欧洲除外），每天免费 50 次请求，支持 100 万 tokens 输入，API 价格略低于 GPT-4 Turbo。
🌐 GPT-4 Turbo 更新：OpenAI 发布了功能大幅改进的 GPT-4 Turbo，集成了多模态 GPT-4 视觉处理，提高了写作、数学、逻辑推理和编码能力。
🇫🇷 Mixtral 8x22B 发布：法国 AI 公司 Mistral 发布了新的开源模型 Mixtral 8x22B，参数量大于之前的模型，潜力可能与 GPT-4 相当。
📈 Chatbot Arena 排行榜动态：开源模型如 Cohere 的 Command R+ 在 LMSYS Chatbot Arena 排行榜上达到第 6 位，GPT-4 Turbo 与 Claude 3 Opus 竞争激烈。
技术竞争加剧：过去两个月，多个模型与 GPT-4 竞争，OpenAI 的技术领先地位不再无可争议，期待 GPT-5 的发布可能会改变现状。
展开
1
2