LLMForEveryBody

RoPE非常巧妙的借助复平面和欧拉公式，将位置信息编码到了query和key向量中，使得模型能够利用token之间的相对位置信息。RoPE的设计思路是将query和key向量进行旋转，这就是旋转的由来

也许你在某些场合听说过欧拉公式，也许你干脆对数学不感冒。机缘巧合下，你点开了这篇文章，大致浏览了下然后关闭，继续为自己的工作学习忙碌。这不妨碍你暂停忙碌的脚步，欣赏她的美。

位置编码（Positional Encoding）是一种在处理序列数据时，用于向模型提供序列中每个元素位置信息的技术。

在开始复习的时候，我发现很多知识点是我根本没有接触过的。我本科和研究生学的都是数学，很多计算机基础理论没有接触过，虽然现在从事的也是计算机相关工作，但终究基础是不牢靠的。

2024Q2陆续有互联网大厂chatbi落地的消息传出，在ChatBI落地中，会遇到哪些问题，该如何解决呢？

对于很多人来说，langchain和扣子更像是面向两类人群的工具，而现在，随着类似扣子类平台API的深入开发，langchain的地位受到了挑战。

大模型出现幻觉，简而言之就是“胡说八道”，是指模型生成的内容与现实世界事实或用户输入不一致的现象。通过本文的四个策略，我们可以有效地提高大模型的准确性，降低幻觉的发生。

大模型的token生成本质上是基于概率的，当输入完全一致的时候，输出也会不一样。在LLM应用开发中，全流程的参与者都需要预判这种不确定性，以便更好的处理edge case。

近年来，许多商业大模型的价格不断下降，但你是否注意到一个关键细节：output token 的价格通常比 input token 高出几倍。这背后究竟是什么原因呢？

当需要把大模型嵌入到工作流中（尤其是原有的工作流），就需要大模型和原工作组件进行交互，在这种情况下，我们期望大模型的输出是结构化数据(Json)

如今, 私有化部署一个大模型早已不是什么有门槛或技术含量的工作了，更多的只是一种信息差而已。照着这个教程来，即使小白也可以在本地部署大模型。

如果你看GPT系列的论文，你学习到的self-attention是Multi-Head Attention(MHA)即多头注意力机制，这个机制已经能很好的捕捉信息了，为什么会继续发展出MQA和GQA?

如果你使用商用大模型，或者使用开源大模型本地化部署，除了生成的质量之外，另外一个关键的指标就是生成token的速度。而且并不是简单的每秒生成多少个token，而是拆成了两个阶段

你知道如何让800公斤的牛安全地通过一座承重700公斤的桥 你知道夏目漱石将“I Love You”翻译成“今晚月色真美” 面对喜欢的人时，你却不知道从何说起。每次打开聊天框脑海里浮现的只有‘在吗？’

DAN 越狱 男人不坏，女人不爱。这句话在谈恋爱领域不知道是不是真的，在人工智能领域倒是先应验了。 人工智能不坏，人类不爱。 前一段时间，ChatGPT 的 Dan 模式突然在小红书火起来了。