LearnLLM_AI

RoPE非常巧妙的借助复平面和欧拉公式，将位置信息编码到了query和key向量中，使得模型能够利用token之间的相对位置信息。RoPE的设计思路是将query和key向量进行旋转，这就是旋转的由来

也许你在某些场合听说过欧拉公式，也许你干脆对数学不感冒。机缘巧合下，你点开了这篇文章，大致浏览了下然后关闭，继续为自己的工作学习忙碌。这不妨碍你暂停忙碌的脚步，欣赏她的美。

位置编码（Positional Encoding）是一种在处理序列数据时，用于向模型提供序列中每个元素位置信息的技术。

在开始复习的时候，我发现很多知识点是我根本没有接触过的。我本科和研究生学的都是数学，很多计算机基础理论没有接触过，虽然现在从事的也是计算机相关工作，但终究基础是不牢靠的。

2024Q2陆续有互联网大厂chatbi落地的消息传出，在ChatBI落地中，会遇到哪些问题，该如何解决呢？

对于很多人来说，langchain和扣子更像是面向两类人群的工具，而现在，随着类似扣子类平台API的深入开发，langchain的地位受到了挑战。

大模型出现幻觉，简而言之就是“胡说八道”，是指模型生成的内容与现实世界事实或用户输入不一致的现象。通过本文的四个策略，我们可以有效地提高大模型的准确性，降低幻觉的发生。

大模型的token生成本质上是基于概率的，当输入完全一致的时候，输出也会不一样。在LLM应用开发中，全流程的参与者都需要预判这种不确定性，以便更好的处理edge case。

近年来，许多商业大模型的价格不断下降，但你是否注意到一个关键细节：output token 的价格通常比 input token 高出几倍。这背后究竟是什么原因呢？