web.archive.org
获得徽章 7
- Meta 不小心提前发布了全新的多语言大模型 Llama 3.1 系列，包括 8B、70B 和 405B 三种规模，优化了多语言对话，性能超越许多现有开源和闭源模型。Llama 3.1 使用了最新的优化 Transformer 架构，并通过 RLHF 进行微调，显著提升了模型的安全性和有用性。#人工智能 #大语言模型 #Meta #Llama3.1
huggingface 快照：
web.archive.org
Magnet下载: magnet:?xt=urn:btih:c0e342ae5677582f92c52d8019cc32e1f86f1d83&dn=miqu-2&tr=udp%3A%2F% 展开赞过
评论1 - apple 开源的 DCLM 是一个 7b 模型，选用的跟 phi3 一样的方向：高质量的训练数据，把 240T token 的 Common Crawl 训练集精炼到 2.5T token，同时也能保证训练结果的质量。这次开源的力度也挺大，把模型和训练数据都开源了：huggingface.co 赞过 评论1
- ICML2024 的一篇论文介绍了 Algorithm of Thoughts：AoT 比 CoT 不一样的地方是，通过在上下文中提供算法示例，引导模型进行类似算法的思考过程。这种方法只需一次或少数几次查询，就能显著扩展模型的思维探索能力，在多个任务上超越了现有 CoT 方法，同时大幅降低了计算开销。这个想法很精妙。
论文地址：arxiv.org 展开赞过 评论1 - 评测一下能在本地跑的大语言模型的总结文章效果，用的是 Sam Altman 起诉装修公司的新闻，这次评测的有：qwen2 7b, Llama3 8b, Gemma2 9b, phi3 14b, Mistral v0.3 7b, deepseek v2 16b, yi 1.5 9b。试了一圈，推荐大家用 qwen2 和 gemma2。
* qwen2 7b: 总结内容和 emoji 都能很好执行，官司细节都描述到位，除了一些金额没有按照中文口径来，9分
* llama3 8b: 总结内容的指令跟随不错，emoji 也能很好应用，但是回复不是中文，扣大分，4分
* Gemma2 9b: 总结内容的质量不错，中文读起来很通顺，超过预期，但是有一个 sewage 没有翻译正确，瑕不掩瑜，8分
* ph3 14b: 微软家的小规模模型，总结内容还行，但是语句读不通顺，可能是训练数据里面中文内容不够多，6分
* Mistral v0.3 7b: 跟 llama3 的问题一样，输出不是中文，同时对 emoji 和总结内容的数字要求都不达标，有点失望，3分
* deepseek v2 16b: 能很好总结文章以及列出关键信息，但是稳定性很差，试了四次才有一次符合要求的输出 6分
* yi 1.5 9b: 关于列表 emoji 的指令没有很好执行，6分展开等人赞过 25 - 就算是身价亿万的 Sam Altman 也要为装修而烦恼。这不，Sam Altman 把他的开发商告上法庭，指控开发商和承包商合谋压缩成本，吃回扣，导致房屋建设质量差。
这套豪宅在旧金山，价值2700万美元，有四层楼、落地玻璃门、开放式庭院、内部电梯，以及一个俯瞰旧金山和恶魔岛的无边际泳池。www.forbes.com 展开赞过 31 - 来自 UC Berkeley 的 Sizhe Chen 提出了一种名为 StruQ 的系统，通过使用结构化查询来防御提示注入攻击(Prompt Injections)。StruQ 将提示和用户数据分离，通过前端编码和特殊训练的 LLM 来提高安全性。实验结果显示，StruQ 在抵御多种提示注入攻击方面表现出色，同时对模型的实用性影响甚微。
论文地址：arxiv.org
开源：github.com 展开评论点赞 - SmolLM：Huggingface 最新发布的一组高性能的小型语言模型，参数分别为 135M、360M 和 1.7B，训练数据来自高质量数据集 SmolLM-Corpus，其中包括 Cosmopedia v2、Python-Edu 和 FineWeb-Edu。SmolLM 模型在多种基准测试中表现不错， 适合跑在手机这种终端设备上。huggingface.co 展开1点赞
- 微软 CTO Kevin Scott 近日做客红杉资本的播客，分享了他对 AI 的看法。他认为 AI 正处于指数级增长阶段，每一代模型都会变得更强大、更便宜、更通用。微软的 AI 战略是打造一个完整的 AI 平台，从前沿模型到小型语言模型,以及高度优化的推理基础设施。我们还没有达到规模收益递减的拐点，未来 AI 将在教育、医疗、科研等领域发挥巨大作用，解决一些零和问题，创造更多价值。www.youtube.com
AI 模型改进：随着技术进步，AI模型将变得更便宜、更强大，且更少脆弱性。
🌍 Microsoft 的 AI 战略：专注于构建一个全面的 AI 平台，包括从前沿模型到优化推理基础设施，以及开发工具和安全测试，使其他开发者能在此基础上创造有用的应用。
与 OpenAI 的合作: 微软与OpenAI 的合作使得强大的 AI 模型能触达更广泛的用户群体。
🎓 AI 在教育中的应用：AI 可以帮助老师提升教育质量，为孩子们提供更好的学习工具。
🏥 医疗领域的 AI：AI 可以改善医疗系统，例如通过更准确的诊断和个性化治疗方案。
🔬 科学研究的加速：AI 工具可以帮助科学家更快地发现新材料和解决方案，例如在碳捕获技术中的应用。
长期乐观：尽管短期内 AI 存在挑战，Kevin Scott 对 AI 的长期影响持乐观态度，认为它将带来积极的社会变革。 展开评论点赞 - lmsys 开源了 RouteLLM，这是一个用于服务和评估 LLM 路由器的框架，提供 OpenAI 兼容的服务器，支持多种路由策略，能够在保持高质量的同时显著降低成本。
例如一些不难的问题就转给 Mixtral 8x7b 模型来处理，高难度的才会给 GPT-4o，以此降低成本。github.com 
赞过 评论1 - Hugging Face 推出了全新的 Open LLM Leaderboard v2，使用 300个 H100 来解决模型性能停滞的问题。新版本引入了更具挑战性的基准测试、改进的排名系统和社区投票机制，以确保模型评估的公平性和透明度。赞过 22
