拖拖765

一、 核心痛点：RNN 的“鱼式记忆” 在传统神经网络中，信息是单向流动的。而人脑在思考时具有持久性。为了模拟这种特性，循环神经网络（RNN）应运而生。 然而，传统 RNN...

在 GPT-4 和各种大模型横行的今天，我们很容易忘记深度学习领域的“史前时代”。但在 2015 年，Andrej Karpathy（OpenAI 创始成员、前 Tesla...

从模式匹配到协调物理：UCCT 与 MACI 如何把 LLM 推向可验证推理 本文基于论文  《The Missing Layer of AGI: From Pattern...

摘要：热力学第二定律告诉我们，宇宙的终点是死寂的无序（高熵）。但为什么在从有序走向无序的过程中，会出现星系、生命、以及牛奶咖啡中那些复杂的漩涡结构？本文基于 Scott A...

Transformer 之所以能成为当今大模型时代的核心基础架构，并非偶然。从 2017 年“Attention Is All You Need”提出至今，Transfor...

这篇 Blog 将带你快速理解： 论文讲了什么内容 Transformer 的关键创新点 它在现实中的实际应用场景 一个最小可运行 Transformer Demo（可直接...

你是否经历过这种绝望：读到一篇绝佳的科研论文，想要复现它的结果或在自己的数据上试用它的方法，结果却陷入了无穷无尽的“依赖地狱”？环境配置报错、代码缺少文档、参数不知如何调整...

你是否遇到过这种令人抓狂的情况：大语言模型（LLM）能轻松解决复杂的微积分问题，却在简单的逻辑陷阱题上翻车？这种“能力不一致性”一直是 AI 领域的谜团。 牛津大学的一项最...

近几年，大语言模型（LLM）在推理、代码生成、工具调用等任务上取得了巨大进展。但当任务变得极长，需要上千甚至上百万步（例如 Towers of Hanoi 20 个盘，需要...

最近，算法研究界最炸裂的论文之一，就是《AlphaResearch: Accelerating New Algorithm Discovery with Language ...

一、背景：AI 需要一个“记忆操作系统” 在大语言模型（LLM）飞速发展的今天，模型可以推理、生成、规划，但依旧存在一个根本性缺陷——没有真正的长期记忆。 我们现在常用的 ...

一、核心挑战与原则（为什么要做 Context Engineering） 1. 上下文窗口的根本限制 LLM 的「工作内存」是有限的（context window），把太多...

一、为什么我们需要新的注意力机制？ Transformer 已成为大语言模型（LLM）的核心，但它的 softmax 全注意力（Full Attention） 存在两个关键...

Claude 作为 Anthropic 的旗舰模型，一直给人一种“温柔又聪明”的印象。但最近我深入研究了 Claude Code 的实现设计后，发现它的“聪明”，并非仅仅来...

近期，Meta AI 和 UCSD 的研究者提出了一种新的方法——Deep Think with Confidence（DeepConf），它在保持甚至提升大语言模型（LL...

在多模态大模型快速发展的今天，如何让模型更好地利用视觉信息来进行推理，一直是研究的热点。最近的一篇论文 《Thyme: Think Beyond Images》 提出了一个...

在大语言模型（LLM）后训练中，SFT（Supervised Fine-Tuning） 是最常用的手段：简单、高效、快速模仿专家数据。然而，很多人发现 SFT 泛化能力差，...

微调大语言模型（LLM）已经成为使其对齐人类意图的核心方法之一。虽然从人类反馈中强化学习（RLHF）是流行选择，但它通常复杂且不稳定。令人惊讶的是，一个更简单的替代方法——...

最近，来自 Microsoft Research 的一篇新论文 "Data Efficacy for Language Model Training"，揭示了训练大语言模型...

想象一下，当您在玩拼图时，您是如何判断两块碎片能否拼在一起的？您可能不会用语言去描述每一个锯齿的形状，而是在脑海中“想象”它们拼接在一起的样子。这种内在的、非语言的视觉构建...