silicon

自从特斯拉证明在自动驾驶场景端到端的深度学习模型能够替代人进行决策，一场巨大的技术变革将要到来。我想通过一些实验来建立自己对决策智能的初步认知。 说一下我对决策智能的理解：...

上一篇：基于Transformer的路径规划 - 第四篇 GPT模型优化 在上一篇中，我尝试优化GPT路径生成模型，但没有成功。在随机生成的测试集上，路径规划成功率只有99...

上一篇：基于Transformer的路径规划 - 第三篇 Attention Is All You Need 在上一篇中提到：一个由7层Transformer Decode...

上一篇：基于Transformer的路径规划 - 第二篇 合成数据 写在前面：我又一次对这句话无法反驳："Attention Is All You Need"。我在探究一个...

上一篇：基于Transformer的路径规划 - 第一篇 探索 这几天一直在开发合成训练样本的代码，工作量不低。合成样本示例如下： 添加图片注释，不超过 140 字（可选）...

之前我写过一篇文章分析为什么LLM连简单乘法的都算错以及如何解决： 为何简单的乘法ChatGPT会算错？ 我尝试了新的技术路线来进行训练：不使用TransformerDec...

路径规划(Path Planning)问题，过去通常使用RRT、A*、Dijkstra、强化学习等算法来解决。随着Transformer以及LLM技术的发展，我给出以下猜测...

首先“心算”三位整数乘法不管对人类还是对模型来说都不简单的。如果使用CoT的方式就类似于“笔算”，如果使用编程的方式就类似于人拿着计算器算。我将问题更精确一点地表述为“模型...

近几天在研究大模型LLM数数问题时，使用合成数据集来训练LLM“统计字符串（100个单词以内）中字母的个数”的能力，基于Word进行分词。原始的合成代码在生成随机字符串时，...