LearnLLM_AI

多模态（Multimodality）是指集成和处理两种或两种以上不同类型的信息或数据的方法和技术。在机器学习和人工智能领域，多模态涉及的数据类型通常包括但不限于文本、图像、视频、音频和传感器数据。

Normalization技术旨在应对内部协变量偏移问题，它的核心在于将数据调整到一个统一的标准，以便进行有效的比较和处理。 为了实现这一目标，***我们需要确保参与归一化的数据点在本质上是可比的。

LLM 面临的最大挑战（也是最大的机遇）或许是将其强大的能力扩展到解决训练数据之外的问题，本文中，我们介绍了微软研究院创建的 GraphRAG，这是增强 LLM 能力的一项重大进步。

在实际文本中，chunk与chunk之间是存在关联的，而RAG技术并未充分考虑到这种关联性。为了解决这一问题，我们可以引入知识图谱，将文档中的chunk之间的关系表示为图结构

向量数据库的崛起与大模型时代的需求紧密相关，它为大模型提供了外部知识库的支持，增强了生成能力，支持向量嵌入，并解决了数据局限问题。

在学习vLLM和PagedAttention的过程中，我发现了很多非常优质的资料。其中最有价值应该是这篇vLLM的官方博客，我认为它写得非常好，因此尝试将其翻译，希望这能帮助到更多需要相关信息的人。

OpenAI 正式公开一系列全新 o1大模型，秘密武器在于强化学习和思维链。OpenAI 的o1大规模强化学习算法，教会模型如何在数据高度有效的训练过程中利用其思想链进行高效思考。

随着时间的推移，大型语言模型（LLM）开始崭露头角，这些模型拥有庞大的参数量，训练过程也变得漫长而复杂。为了有效应对这些挑战，使用多张GPU进行训练变得司空见惯，而并行计算技术也变得不可或缺

在人工智能领域，智能涌现通常指的是随着AI模型规模的增大，如参数数量的增加，模型开始展现出一些预先没有被明确编程的能力或行为。