Kenley

本文介绍了MTP的原理，和具体代码。其中从训练和推理的角度解释了MTP的作用和原理，最后通过代码的方式进行了实现。...

本文介绍了Flash Attention的产生背景，基本原理，以及对应的公式推导。对比传统attention的计算过程来说，极大了降低了显存内部的IO次数。...

本文介绍了MLA(Multi-head Latent Attention)多头潜在注意力机制，简单说明了MHA、MQA、GQA等注意力机制。对MLA的原理和公式推导做了详细...

本文介绍了旋转位置编码rope的具体原理，从产生背景到解决方案，再到公式推导以及最后的代码实现。从数学向量旋转的角度解释了其中的原理。...

OpenCompass 一、环境配置 二、评估 1）准备数据集 2）准备模型 3）准备评估器 4）准备评估配置文件 不带提示词 带系统提示词 5）开始评估 6）日志添加 7...

本文介绍了Langchain的核心代码开发，以便工作中使用。从刚开始的基础代码，到最后的高阶使用说明以及代码实现。...

实战微软新一代RAG：GraphRAG 本月初，微软发布最强 RAG知识库，开源方案 GraphRAG，项目上线即爆火，现在星标量已经达到 12.1 k。 其意义在于，它能...

使用LangGraph构建多代理系统，通过LangSmith进行各个环节的监控。以此实现了多个agent之间之间的交互，以及多种工具之间的逻辑调用。...

nltk本地下载报错，需要手动进行下载和解压到本地目录下，最后通过python进行一下导入确认即可。...

关系抽取是自然语言处理领域的重要任务，本文简要概述了两种实现方式：片段网络和指针网络。片段网络通过识别文本中的关键片段来抽取关系，而指针网络则利用指针机制直接指向文本中的关...

环境 python 3.9.13 pytorch 1.13.1+cpu opencv-python 4.5.5.62 人脸检测 车牌号码识别检测...