Datawhale学习

1.整体优化思路 目前整体的项目架构还是比较清晰的，优化其实主要围绕两个核心替换模型和对音频进行预处理 在接下来的部分当中我们会着重介绍一下替换模型以及音频预处理这两个部分 2.模型替换 2.1 模型

0.遗留问题：什么是LoRA 在本次的Baseline调优中，我们使用了LoRA技术来对讯飞星火平台上的模型进行微调，那么什么是LoRA技术呢？ LoRA技术的核心思想，是针对预训练大语言模型（LLM

1. MCP简介 在之前的夏令营中笔者接触了基础的大语言模型概念（LLM），这一期的夏令营主要围绕的是MCP的概念进行学习。 在一切介绍开始之前，我们不妨对MCP下一个相对直观易懂的概念，MCP的本质

0. Baseline的基础解析： 0.1.赛题的基础解析 我们先来看看赛题的官方解释 这个次比赛的本质是逆推RNA的折叠步骤，简单来说就是我有一根电话线，随手一扔，他就会变随机生成一个形状，这个形状

0. 引子： 在这篇文章中会主要记录参加这次学习赛的项目，主要会记录一下构思过程，同时也会尝试实现一下项目的一些基础功能 1. Remix项目简介与系统架构设计： 这次其实要做的项目还是比较清晰明了的

0. 引子 这次的主题是定制一个专属的大模型，定制专属大模型通常能够在特定的专业领域中比起通用大模型有更好的表现。 在本文中，我们会基于讯飞星辰MaaS平台，通过LoRA技术对Spark Max模型进

0.前言： 本章节主要会介绍一下卷积神经网络的基础结构，批量归一化的一些方法 1.卷积神经网络： 在上一章节中，我们在第一个例子中带大家看了一个相对简单的卷积神经网络的例子。这一章中我们会更加详细地介

前言 在这一章节中我们会介绍几个与深度学习优化有关的忧患算法（主要是自适应学习率方面的），以及通过一个例子来进一步了解深度学习的实现。 1.卷积神经网络实现图像分类 在这个例子中我们会通过卷积神经网络

0. 前言 这是DataWhale的最后一期调优，本次调优的两个主要方向是： 尝试引入新特征来进行优化 尝试通过对于lgm本身结构的改进来进行优化 1. 基于新特征的优化 这里我们需要先介绍一下为什么

0.前言 这篇笔记主要记录task1的教程相关内容，以及团队项目的相关思考 1. 关于大语言模型： 为了对人类语言的内在规律进行建模，研究者们提出使用语言模型（language model）来准确预测

0. 前言 在上一期初步确认了一个Idea之后，团队又对现有的Idea进行了拓展，的Idea以及目前已有Idea的进展 1.已经完成的任务：测试目前选用大模型的对话表现 这两天的工作主要集中在对于Id

0 前言： 在这一章节中我们会介绍一些基础的深度学习概念 1.局部极小值与鞍点：判断与逃离 有时候有人会将深度学习的过程戏称为“调参”，但是在某些时候，我们会发现我们不论如何更新参数，训练的损失就不会

1. 任务背景： 本次的任务还是比较清晰明了的，主要是以下的一个任务(官网)： 简单来说就是我们需要通过程序来预测某类药物基因对某类疾病的治疗效果此处我们会拿到的是一个csv文件的数据集 这次的数据集

0.前言 在本章节中我们会简单介绍一下夏令营中我对baseline调优的一些方法。本章主要分为两个部分，基于Lightbm优化baseline，以及通过模型混合、模型替换的方案来尝试优化baselin