叶子的技术碎碎念

Direct Nash Optimization: Teaching Language Models to Self-Improve with General Prefer...

翻译完了UDL这本书之后放松了一个多礼拜没有更新文章了，主要最近也在学习一些微调上面的知识，平时晚上还需要跑跑代码看看视频啥的，因此也一直没太有空写文章，UDL的翻译整理成...

Jamba: A Hybrid Transformer-Mamba Language Model Jamba：混合 Transformer-Mamba 语言模型 我们推出了...

本章由 Travis LaCroix 和 Simon J.D. Prince 编写。 人工智能 (AI) 正在成为改变社会的力量，这种改变可能带来好处也可能带来弊端。这些技...

本章不同于前面的章节。它不展示已确立的结果，而是探讨了深度学习为何和如何取得显著成功的问题，这些问题在教科书里很少被提及。然而，需明白（尽管本书的标题所示），我们对深度学习...

Can large language models explore in-context? 大语言模型能进行上下文探索吗？ 我们研究了当代大语言模型（LLMs）在多大程度上...

强化学习（RL）是一个序贯决策框架，智能体在此框架中通过在环境内执行动作来学习，旨在最大化获得的奖励。例如，RL 算法可以控制视频游戏中角色（智能体）的移动（动作），以最大...

第 15 章描述了生成对抗模型（Generative Adversarial Models, GANs），这些模型可以生成逼真样本，但不为数据定义概率分布。第 16 章讨论...

Uni-SMART: Universal Science Multimodal Analysis and Research Transformer Uni-SMART: 通...

生成对抗网络 (Generative Adversarial Networks) 学习了一种机制，可以生成与训练数据 {x_i} 在统计上无法区分的样本。与此相对，像归一化...

第 15 章介绍了生成对抗网络（GANs）。这些生成模型通过深度网络处理潜在变量来生成新的样本。GANs 的训练原则是让样本与真实数据难以区分。然而，它们并没有定义在数据样...

Gemini 1.5: Unlocking multimodal understanding across millions of tokens of context Ge...

生成式对抗网络（GAN）是一种无监督学习模型，其目标是创造出与训练样本集难以区分的新样本。GAN 主要是用来生成新样本的一种机制，它并不建立模型数据的概率分布，因此无法判断...

第 2 章至第 9 章详细讲解了监督学习的流程。在这些章节中，我们定义了模型，这些模型能将观测数据 x 映射到输出值 y，并引入了损失函数来衡量这种映射对于训练数据集 ${...

第10章介绍了卷积网络，它擅长处理规则的数据阵列（如图像）。第12章则讲述了 Transformer，它擅长处理长度可变的序列（如文本）。本章将讨论图神经网络。正如其名，这...

VisionLLaMA: A Unified LLaMA Interface for Vision Tasks VisionLLaMA: 视觉任务的统一 LLaMA 接口 ...

第10章引入了专门用于处理规则网格数据的卷积网络。这类网络非常适合处理图像，因为图像含有极其庞大的输入变量数目，这使得全连接网络不再适用。卷积网络通过参数共享机制，保证了图...

上一章节阐述了随着卷积网络从八层（AlexNet）增加到十八层（VGG）而带来的图像分类性能的显著提升。这一发现激发了对更深层网络的探索。然而，随着层数的继续增加，网络性能...

本文分享了京东零售技数中心推出融合Agent、SFT与RAG的大模型基础应用框架，帮助业务完成大模型微调、部署和应用，落地场景的实践经历，供大家参考。...

MobileLLM: Optimizing Sub-billion Parameter Language Models for On-Device Use Cases Mo...