拖拖765

在广义相对论的世界里，黑洞不仅是物质的终结，也是时空剧烈震荡的源头。当我们扰动一个黑洞（例如两个黑洞合并）时，它会像被敲击的钟一样发出“铃宕”（Ringdown）声，随后逐...

在深度学习的演进史上，循环神经网络 (RNN) 曾是处理序列数据的王者，但它始终受困于“记忆碎片化”的问题：所有的信息都被强行压缩进一个扁平的向量中。随着 Transfor...

在深度学习和生成模型（AIGC）的演进史中，有一篇必须要读的经典论文——由 OpenAI 和 UC Berkeley 的顶级学者（包括 VAE 共同发明者 Diederik...

在人工智能领域，识别一张照片里有“猫”已经不再是难事。但如果你问 AI：“那个红色金属圆柱体左边的蓝色球体，和右边那个最大的方块材质一样吗？”——这便涉及到了机器长期以来的...

在深度学习的发展史上，ResNet (残差网络) 的提出无疑是一个里程碑。它解决了超深网络训练中的退化问题，使得我们可以训练几十层甚至上百层的网络。然而，微软亚洲研究院（M...

在 2014 年之前，神经网络翻译（NMT）面临着一个尴尬的“中年危机”：模型在短句上表现惊艳，但只要句子稍长，翻译质量就会断崖式下跌。由 Dzmitry Bahdanau...

在计算机视觉的世界里，我们曾面临一个极度纠结的难题：想要看得“准”（高分辨率），就很难看得“广”（大感受野） 。直到 2016 年，Fisher Yu 和 Vladlen ...

在计算机视觉的历史长河中，2015 年是一个重要的节点。由 何恺明（Kaiming He）等人提出的 ResNet（残差网络） ，不仅横扫了当年的 ILSVRC 和 COC...

在深度学习领域，模型规模的增长速度远超单张显卡（GPU/TPU）显存的增长速度。当我们想要训练拥有百亿参数的巨型模型时，往往会撞上“显存墙”。 Google 提出的 GPi...

前言：被忽视的“顺序” 在深度学习的早期，我们习惯了将一切视为序列：文字是单词的序列，语音是采样的序列。但如果输入是一堆乱序的拼图，或者一组坐标点，强行喂给 RNN 会发生...

在计算机视觉的历史长河中，2012 年是一个分水岭。由 Alex Krizhevsky、Ilya Sutskever 和 Geoffrey Hinton 发表的这篇论文，不...

在深度学习的世界里，我们习惯了“大力出奇迹”：模型越大，参数越多，效果似乎就越好。但你是否想过，这些庞大的参数中，可能绝大多数都是在“陪跑”？ 2019 年 ICLR 的一...

在深度学习的序列生成任务（如机器翻译）中，我们习惯了 Sequence-to-Sequence (Seq2Seq) 架构。然而，传统的 Seq2Seq 有一个致命的假设：输...

在 AI 领域，我们一直在追求一个目标：让模型能够像人类一样，通过实践、反馈和总结来不断提升自己。最近的一篇重磅论文揭示了一种名为迭代部署（Iterative Deploy...

在 AI 编程领域，最近流行一个词叫 "Vibe Coding"（凭感觉编程）——即完全信任 AI，享受心流，甚至不再仔细阅读代码的差异（Diffs）。这种想法听起来很诱人...

在人工智能的浪潮中，我们经常听到技术报告宣称某个大模型（LLM）在某项测试中达到了“人类水平”（Human-level performance）。 这听起来很令人振奋，但哈...

1. 论文核心逻辑：什么是 MDL 原则？ 这篇论文的核心建立在 最小描述长度（Minimum Description Length, MDL 原则之上。 在监督学习中，如...

在深度学习的发展史上，Dropout 被认为是解决神经网络过拟合最有效的“神技”之一。然而，早期的研究发现，直接将 Dropout 应用于循环神经网络（RNN）和长短期记忆...

一、 核心痛点：RNN 的“鱼式记忆” 在传统神经网络中，信息是单向流动的。而人脑在思考时具有持久性。为了模拟这种特性，循环神经网络（RNN）应运而生。 然而，传统 RNN...

在 GPT-4 和各种大模型横行的今天，我们很容易忘记深度学习领域的“史前时代”。但在 2015 年，Andrej Karpathy（OpenAI 创始成员、前 Tesla...