大鲸鱼crush

本文主要分享了使用pytorch训练深度学习模型时候，可以使用的十个提升模型训练速度的技巧，无需购买新硬件，即可将模型训练速度提升一倍以上

本文讲解了ICLR 2025 Spotlight 中的UNITE这篇论文，这篇论文提出了一种大模型集成算法，通过较低的计算开销实现了模型集成与性能提升

嘿，各位码农朋友们！最近我在研究这个叫"混合专家"(MoE)的模型架构，感觉这玩意简直是把我们写代码的思路搬到了AI领域，太有意思了。今天就跟大家分享一下我的心得和实现过程。

本文将为你层层拆解TokenSkip的算法设计、理论支撑与实战效果。我们从一个简单问题开始：如果模型能“想得更快”，它是否还能“想得更好”？

本文详细讲解了NVIDIA 本月提出的 Hymba 模型架构。该架构结合了SSM和transformer，解决了传统架构处理长序列成本过高的问题

随着模型变得越来越复杂和庞大，推理速度优化变得尤为重要，尤其是对于用户期望即时回复的聊天应用。键值缓存用于提升transformer架构模型的响应速度，本文将深入了解它的工作原理及其应用场景

本文提出了Tokenformer架构，其优势在于增量学习能力：在增加模型尺寸时，无需从头开始重新训练模型，大大降低了成本。 本文由北大和谷歌进行合作，一作是北大在读博士，代码已开源

Adaptive-RAG是一种智能化的检索增强生成（简称RAG）系统。与传统RAG系统不同，Adaptive-RAG能够根据用户提问的难度自动选择最合适的处理模式，从而实现最优回答质量

在大型语言模型(LLMs)领域，检索增强生成技术的出现极大地提高了模型的表现。然而，RAG的性能严重依赖于检索文档的质量。为了解决这一问题，研究者提出了纠正式检索增强生成方法CRAG