LearnLLM_AI

如今, 私有化部署一个大模型早已不是什么有门槛或技术含量的工作了，更多的只是一种信息差而已。照着这个教程来，即使小白也可以在本地部署大模型。

如果你看GPT系列的论文，你学习到的self-attention是Multi-Head Attention(MHA)即多头注意力机制，这个机制已经能很好的捕捉信息了，为什么会继续发展出MQA和GQA?

如果你使用商用大模型，或者使用开源大模型本地化部署，除了生成的质量之外，另外一个关键的指标就是生成token的速度。而且并不是简单的每秒生成多少个token，而是拆成了两个阶段

你知道如何让800公斤的牛安全地通过一座承重700公斤的桥 你知道夏目漱石将“I Love You”翻译成“今晚月色真美” 面对喜欢的人时，你却不知道从何说起。每次打开聊天框脑海里浮现的只有‘在吗？’

DAN 越狱 男人不坏，女人不爱。这句话在谈恋爱领域不知道是不是真的，在人工智能领域倒是先应验了。 人工智能不坏，人类不爱。 前一段时间，ChatGPT 的 Dan 模式突然在小红书火起来了。