获得徽章 0
- Scaling Law(规模法则) 是大模型领域一个非常核心的“经验定律”。简单说,它描述了:当你给模型投入更多的算力、更多的数据和更大的参数量时,模型的能力会如何可预测地提升。
这个概念最早由OpenAI在2020年的论文《Scaling Laws for Neural Language Models》中系统性地提出。它的核心结论可以概括为:
核心结论:幂律关系
模型的性能(通常用测试集上的交叉熵损失表示)与三个因素之间存在平滑的幂律关系:
参数量(N):模型的大小。
数据集大小(D):训练用的token数量。
计算量(C):训练所消耗的浮点运算次数。
关键发现是:损失(误差)与这三个因素(N, D, C)的幂成正比。 比如,要想把损失减半,你需要把参数量、数据量或计算量提高一个固定倍数(比如10倍)。
这意味着,性能的提升是可预测的。通过在小规模上做实验,你可以很准确地预测出把模型扩大100倍、1000倍时,性能具体会提升多少。展开评论点赞 - 无论你贡献多大,只要退出成本高到让你不敢动,那你当前的贡献,就只是在为你不敢离开的选择付费,而不是在创造属于你自己的价值。
现代职场和婚姻越来越强调可退出性,竞业限制,离婚协议都在推高退出成本赞过11 - 解码即权力:
法庭上,法条是编码,法官是解码器;公司里,KPI体系是编码,管理者是解码器;社交媒体上,算法是编码,平台是解码器。我们不是信息的被动接收者,而是活在被特定解码规则构建的现实中。这就是为什么争夺定义权,总是一切博弈的终极战场。赞过评论1 - keep moving
在外面残血了,按下B键盘,等待七秒后可以回到自己的泉水。 如果泉水在帮你回血,那说明泉水是个好泉水。 如果泉水并不能帮你回血,那说明泉水已经失去功能了。 如果泉水开始攻击你的血条了,那说明这压根不是你的泉水。 如果这个泉水还会跟着你移动并持续性的攻击你,那就想尽办法换地图,不要让泉水找到你,否则就可能只能重开了。展开等人赞过评论4