LLM

大模型技术还在快速发展，不得不让人感到惊叹。 前文提到提示语：《# 从 Prompt 到 RAG，从 RAG 到 DSPy》，这体现出当下的大模型提示语仍然脆弱，就像沙子构筑的城堡，很容易被用户瓦解

前面文章（通过 AutoGrad 来理解 TextGrad ，反向传播中的自动微分）提到梯度了，那么梯度到底是什么？本篇再深入一点来看看。 梯度下降法对于神经网络来说，真的是太重要了

DSPy 很牛，它不同于 RAG 的思路（建立本地知识库，给提示语更专业的背景知识），DSPy 做了两件事情，第一是它将大模型的执行分解成为一个流程，也可以称之为“程序”，然后引入优化器，可以微调

最近业务有需求：结合RAG+内容推荐，针对实践部分，做一点探究。 话不多说，直接开冲！ 背景 首先回顾一下 RAG 技术定义，它可以结合信息检索和生成模型的混合。简单来说，RAG = 预训练的语言模型

TextGrad 是一种通过文本反馈反向传播优化大模型系统的新范式，DSPy 则专注于通过参数化模块和编译器优化实现LM管道的系统化开发和优化。

2023 年是大模型底层技术研发‘百团大战’之年，2024 年则是大模型应用赋能千行百业‘百花齐放’之年，当然借助像扣子这样平台，我们可以做到“傻瓜式”创建 AIGC 应用，但是...

书接上回 # 一脚踹开 RAG 大门，深入它所面临的挑战 本篇来看下 RAG 的架构优化策略。。。。。。。

最近一直在看大模型 RAG 技术相关，前面写过一篇文章，可以看到 RAG 技术还有很多痛点，本篇再深入一步，思考一些解决方法~ 闲话少说，直接开冲

今天继续来聊聊PyTorch 之神经网络 (≧▽≦*)o 冲就完事了~在 PyTorch 界里，构建神经网络的神器就是 torch.nn 包。这个包是大脑的搭建工坊，提供无限可能

构建MNIST数据集代码完成了训练循环，包括损失计算、反向传播和网络参数的优化。每100个batch打印一次训练过程中的平均损失，方便我们观察模型学习的情况。

书接前文，我们了解了 —— # 刹车与油门：PyTorch Autograd 的赛车之旅，如文所说，自动微分是 PyTorch 深度学习框架的核心。既然是核心，就需要敲黑板、划重点学习。

线性回归是我们中学课本中学的最基础的概念之一，用于建立变量之间线性关系的统计方法； 在简单线性回归中，会建立一个因变量与一个自变量之间的线性关系模型。 我们可以用 PyTorch 来实现一些实践案例。

对于大模型的学习与探索不要停止，LLM 就是“未来已来”。 前面通过简单的实操上手 Pytorch，本篇带来 Pytorch 核心引擎：autograd

轻松上手：本篇介绍深度学习框架PyTorch来处理和预测书店销售数据~~展示其在实际商业场景中的应用~~

在前不久写过一篇《# 小白白也能看懂的 TensorFlow 及其在 AMI 的部署》，关于深度学习框架 TensorFlow 以及云部署。 本篇带来另一个著名的深度学习框架 —— PyTorch

开宗明义，本篇带来：深度学习的入门框架 —— TensorFlow，以及将其在 Amazon Deep Learning AMI 中私有化部署。