houchenll
炼药师
获得徽章 0
学习优先级
1. 工作内容直接相关：重点突破，无需系统
2. 重点难点专项：对重点、难点进行系统学习，以及实践
3. 前沿洞察：技术、框架、项目、产品、产业
4. 基础泛读
1. 工作内容直接相关：重点突破，无需系统
2. 重点难点专项：对重点、难点进行系统学习，以及实践
3. 前沿洞察：技术、框架、项目、产品、产业
4. 基础泛读
评论
5
学，思，习。
认知=理论=学+思。实践=习=行。
学是起点。
学是被动接收。
学而不思则罔。
单纯“学”易流于表面，缺乏深度理解。
思是转化，从外在知识到内化认知，即智慧。
思而不学则殆。
空想不学则无根，易陷入虚妄。
对所学内容进行反思、质疑、推理和整合。
将知识转化为自己的见解。
辨别真伪，形成逻辑体系。
理论与实践的关系
认知赋予实践方向，避免盲目行动。
理论框架：认知为实践提供目标、方法和预测。
实践结果验证或否定原有认知，推动知识更新。
飞轮效应
工程师通过维修故障设备积累经验。
强化学习：系统通过试错（实践）不断优化策略（认知）。
干中学：知识必须通过实践才能被真正理解，例如通过实验学习物理定律。
理论实践割裂
脱离实践土壤的理论是空中楼阁（宋），而缺乏理论指导的实践则是盲目蛮干。
纸上谈兵：仅有理论（认知）而无实践，如赵括谈兵法却无实战经验。
经验主义：盲目重复实践（如传统工匠排斥科学原理），缺乏认知提升。
认知=理论=学+思。实践=习=行。
学是起点。
学是被动接收。
学而不思则罔。
单纯“学”易流于表面，缺乏深度理解。
思是转化，从外在知识到内化认知，即智慧。
思而不学则殆。
空想不学则无根，易陷入虚妄。
对所学内容进行反思、质疑、推理和整合。
将知识转化为自己的见解。
辨别真伪，形成逻辑体系。
理论与实践的关系
认知赋予实践方向，避免盲目行动。
理论框架：认知为实践提供目标、方法和预测。
实践结果验证或否定原有认知，推动知识更新。
飞轮效应
工程师通过维修故障设备积累经验。
强化学习：系统通过试错（实践）不断优化策略（认知）。
干中学：知识必须通过实践才能被真正理解，例如通过实验学习物理定律。
理论实践割裂
脱离实践土壤的理论是空中楼阁（宋），而缺乏理论指导的实践则是盲目蛮干。
纸上谈兵：仅有理论（认知）而无实践，如赵括谈兵法却无实战经验。
经验主义：盲目重复实践（如传统工匠排斥科学原理），缺乏认知提升。
展开
评论
点赞
应用6个知道。
开源项目。功能，用法，使用，原理，分析。
开源框架。文档，使用，原理，分析。
业界产品。功能，使用，分析。
成熟技术。博客，视频，论文，文档。
前沿技术。论文，博客，视频，文档。
用户需求。同事调研，自己调研。
产品形态。用户需求，开源项目，业界产品。
开源项目。功能，用法，使用，原理，分析。
开源框架。文档，使用，原理，分析。
业界产品。功能，使用，分析。
成熟技术。博客，视频，论文，文档。
前沿技术。论文，博客，视频，文档。
用户需求。同事调研，自己调研。
产品形态。用户需求，开源项目，业界产品。
展开
1
点赞
赞了这篇文章
什么是SFT，为什么要SFT。
有监督微调（Supervised Fine-Tuning，SFT）又称为指令微调（Instruction Tuning），是指在已经训练好的语言模型的基础上，通过使用有标注的特定任务数据进行进一步的微调，使模型具备遵循指令的能力，在特定任务或领域上表现得更好。
经过海量数据预训练后的语言模型虽然具备了大量的“知识”，但是由于其训练时目标仅是进行下一个词的预测，因此不能够理解并遵循人类自然语言形式的指令。为了使模型具有理解并响应人类指令的能力，还需要使用指令数据对其进行微调。
如何构造指令数据，如何高效低成本地进行指令微调训练，以及如何在语言模型基础上进一步扩大上下文等问题，是大语言模型在有监督微调阶段的核心。
另外，SFT也指自微调（Self-Fine-Tuning），即使用模型自己生成的数据进行微调，无需额外的人工标注数据。
有监督微调（Supervised Fine-Tuning，SFT）又称为指令微调（Instruction Tuning），是指在已经训练好的语言模型的基础上，通过使用有标注的特定任务数据进行进一步的微调，使模型具备遵循指令的能力，在特定任务或领域上表现得更好。
经过海量数据预训练后的语言模型虽然具备了大量的“知识”，但是由于其训练时目标仅是进行下一个词的预测，因此不能够理解并遵循人类自然语言形式的指令。为了使模型具有理解并响应人类指令的能力，还需要使用指令数据对其进行微调。
如何构造指令数据，如何高效低成本地进行指令微调训练，以及如何在语言模型基础上进一步扩大上下文等问题，是大语言模型在有监督微调阶段的核心。
另外，SFT也指自微调（Self-Fine-Tuning），即使用模型自己生成的数据进行微调，无需额外的人工标注数据。
展开
评论
点赞