国内几款大模型编程能力对比

6 阅读1分钟

目标

只用一次对话,希望模型修改项目打包方式, 输出的文件进行分包处理如: react.js,react-dom.js, main.js等。

提示词

  1. 你是专业的前端工程师
  2. 你使用的技桟为react
  3. 请修改项目的打包方式 以库的形式进行分包

评分

感官满分10分

6分不满意、7分一般、7.5分还行、8分满意、8.5分很好、9分非常好。

模型对比

DeepSeek 3.2

思考周期较长,配置文件没有修改当前项目的webpack.config.js,而是新创建了webpack.lib.js的配置。

7分

MiniMax 2.5 

思考周期较短,配置文件正确识别并修改了webpack.config.js,把react17的版本降级到了react16,蛮严重的。

7.5分

GLM 5.0  

思考周期较长,配置文件没有修改当前项目的webpack.config.js,而是新创建了webpack.lib.js的配置。删除了ES打包模式.

7分

Kimi 2.5 

思考周期较长,配置文件没有修改当前项目的webpack.config.js,而是新创建了webpack.lib.js的配置。修改了输出路径, 修改了部分业务源代码

7.2分

yuanbao  

思考周期适中, 配置文件正确识别并修改了webpack.config.js,同时增加了快捷脚本build-lib.js, 执行结果失败...

6分

结尾

目前国产大模型可以理解你的语义,与Claude比较还是有一定差距,使用Claude输出质量较为符合预期或超预期,而国产模型需要多次对话才能有结果。