📒 dg-man 开发笔记:它终于会自己记笔记了(顺便抓出「偷偷烧钱」的隐形 bug)
哈喽,我是 J丝儿,还在养那只贴在桌面右下角、会呼吸会看你的 3D 数字人 dg-man。
这次跨度有点大:分支 15,11 月 3 号到 13 号,13 个提交、40 来个文件、一万一千行代码。一句话概括 —— 给它加了两块能真摸到的新东西:「图库」和「笔记」;顺手把「记忆」这套规矩从头理了一遍;最后花两天把整个分支体检一次,专抓那种「看着一切正常、背后偷偷烧钱」的毛病。
过程挺折腾的,写通俗点,给感兴趣的朋友看,也给自己留个档。
一、dg-man 是啥(一句话版)
dg-man 是一个 3D 虚拟数字人桌宠:Electron + Vue3 + three.js 做壳,three-vrm 加载 VRM 模型,瘦长小窗透明贴在桌面右下角。平时它自己呼吸、会转头看你;你跟它说话它做动作、有表情、冒气泡,背后接了 LLM 对话 / TTS 语音 / 本地 ASR 识别 / 记忆 / 提醒 / 屏幕感知 / 生图。
之前有两个挺别扭的地方:
- 东西散得到处都是:聊过的图、生成的图、笔记里画的图,全躺在不同文件夹,想翻一张得自己去找。
- 它「记事」全凭一段提示词:记成什么样、记多久、从哪来的,都没个准。于是冒出过「把 2026 年的待办记成 2023 年」「笔记里提的却显示来源对话」「明明设了过期时间却永远删不掉」这类哭笑不得的事。
这次就是来解决这两件事的。
二、本次实现内容
1)图库:把散落的图片收进一个窗口 📷
互动窗口里多了「图库」页签,按来源自动分好组:模型图片 / 对话上传 / 模型生成 / 屏幕感知 / 笔记图片,组内按时间最新的排最前。
几个主人拍板的口径:
- 删图只删文件,聊天记录一律不动;模型图片和 AI 生成的图不给删(前端不出删除角标,后端再拒一次,防止手滑)。
- 笔记里 AI 生成的图,同时出现在「笔记图片」和「模型生成」,不单开一个「AI生图」栏目(原先单开过,后来去掉了)。
- 窗口统一 900×640、不再置顶,四个页签的底栏都只留右上角一个 ×,不再到处都是「关闭」按钮。
- 排序核实过一遍:组内按文件时间倒序、组间按固定顺序,不改。
几千张图也不卡的几个小动作:缩略图按需生成、列表以磁盘为唯一真相(不从数据库反推,免得清完缓存满屏 404)、滚出两屏就把位图卸掉、分页按游标追加去重。顺带发现 Windows 复制文件会保留原图时间,所以「模型图片」组排的是原图拍摄时间而不是导入时间 —— 核实后主人说「不改吧」,就留着了。
2)笔记:一块能画、能连、能导图的画布 ✏️
这是这轮最大的一块。基于 Quickdraw 搭了整套笔记:
- 画布:画笔 / 小手 / 文字 / 箭头 / 图形,12 种颜色 + 4 档粗细 + 4 种线型 + 透明度滑块,6 种网格,导出 PNG、透明 PNG、复制图片,还能「文生图」按 4:3 直接贴进画布。
- 关系图:笔记之间双向引用,画成一张能拖能缩放的网;标签是圆角实心矩形,同一个标签永远同一个颜色,连线会自动绕开标签,不穿过字。
- 思维导图:接了 mind-elixir,导出成贴图放进画布,双击贴图还能回去接着改。
- 列表:搜索高亮、封面、收藏、删除二次确认、分页加载。
- 纸色定成
#f6f4ef、默认没有网格、默认工具是「拖动小手」(怕一上来就画笔,点两下画布全是点)。
三条铁律也是这轮定的:
| 铁律 | 说人话 |
|---|---|
| 无标题不落库 | 没起名就一个字都不存,状态栏直接写「未命名 · 不会保存」,关窗时才弹框让你补个名字 |
| LLM 只在画布消失时跑一次 | 打字、自动保存都不调 AI;切走 / 新建 / 关窗才整理标签和记忆,同一版本只跑一次 |
| 标签最多 5 个 | 提示词和代码两边一起改,不给模型「让它给 5 个、代码扔掉 2 个」的机会 |
还有几个体验上的收尾:进全屏时数字人会自己挪到桌面右下角让位;退出全屏能老实变回 900×640(外框对了、里面还按全屏布局这个老毛病也一起治了);右键菜单收窄、二级往右展开、右下角右键不会出屏。
3)记忆系统:从「记了就算」到「记什么、记多久、从哪来」🧠
这块是后面十来天反复打磨的重点:
- 六种类别:profile(是谁)/ preference(喜欢啥)/ event(发生过的事)/ commitment(答应过的事)/ knowledge(能复用的知识)/ temp(临时)。默认就是
temp,别把一句随口的话供成永久事实。 - 给过期时间的一律算临时,代码强制改,不回头再问模型;到期就删,不看重要度;低价值的临时记忆自动补 7 天寿命,上限 90 天。
- 召回、列表、统计都过滤掉已过期的,界面上按类别显示中文小胶囊,「临时」标签也改成看类别、不再看有没有过期时间。
- 三份提示词统一注入「今天几号」:对话、笔记、待办三条抽取链路,以前只有对话带了时间,待办那条没带 —— 模型为了凑格式就自己编了个 2023 年的日期。现在提示词给日期,落库前代码再洗一遍相对词(「明天」折成「11月12日」),双保险。
- 来源能点开溯源:「来源对话 / 来源笔记 / 来源待办 / 待办已被删除」分得清清楚楚,笔记来源点开还能直接跳到那篇笔记。
- 待办也会提记忆了:新建或改完待办,1 分钟内没动静才跑一次 LLM,期间继续改就顺延,期间又新建别的就到期打包一起跑。避免每敲一个字都烧一次钱。
- 标签按逗号拆成一颗颗独立小胶囊;笔记提示词也放宽又收紧:流水账不记,一次性计划才记,抄录要提炼成能跨场景复用的结论,代码侧再硬闸「每篇最多 5 条、重要度不够的不记」,而且截断放在向量化之前 —— 不然 12 条全算完向量再扔掉 7 条,白烧。
4)最花时间的一件事:给整个分支做了一次「体检」🔍
12 个提交、40 个文件、+10724 行,逐行读了一遍,重点看两件事:有没有恶意代码、有没有偷偷烧 token。
结论先说:没有任何外发端点、遥测、隐藏请求,新加的两个依赖都是正经画板/导图库,LLM 还是打回设置里你自己填的地址。但确实抓到了隐性的重复消耗 —— 最典型的一个:
每次开机,只要打开任意一篇已经处理过的旧笔记再切走,就会白跑「标签 + 记忆」两次 LLM。原因是去重只看进程内存里的记录,一重启就忘,而界面在「没改动」时也会触发整理。
顺着这条线一起修的还有:开机补跑改成单模型(429/5xx 不再挨个换模型重试,一次逻辑调用就是一次请求)、加 20 次总量闸、开机两个 AI 任务从「只错开 3 秒」改成真串行、待办批量一次最多 30 条、关窗保存失败不许强关、托盘退出也得走完整保存流程。
最后修了 13 个文件、+459 / -120,按主人要求「修完要测试」跑了一轮全量:91 个回归探针,报红清单和体检前逐条对过,完全一致(那 23 个红是历史遗留,用旧版本快照硬对比证明过),新写的专项探针 47 项全过,构建、语法、lint 全绿。
5)这次主动「否掉」的(也是这轮的重要产出)🚫
做功能容易,决定不做什么更难。这轮推翻/搁置的都记下来,免得下次又翻一遍:
| 类型 | 没做的事 | 为什么 |
|---|---|---|
| 主人拍板不修 | 老库升级会把部分旧长期记忆误判成临时、到期删掉 | 「无所谓,都是测试数据」 |
| 主人拍板不修 | 补跑「失败即停」、毫秒时间戳撞车、坏索引不自愈 | 「感觉可以不修,问题不大」,都是低概率、有人工兜底 |
| 设计口径,不是 bug | 关窗时挂着标题框、窗口就一直开着 | 本来就是「给你一次命名的机会」,保存失败可再点 × |
| 低收益 / 风险大 | model_id 换写法、对话抽取失败冻结、模型图按导入时间排序 | 要么行为会变,要么动到记忆主链路,性价比不值 |
| 审查中推翻的「假 bug」 | 「某通道没人监听」「某处 SQL 覆盖不到」「删库没备份」「语音轨没中断」 | 逐条核代码后:有的注释过时、有的基线本来就这样、有的名字全仓搜不到是凭空编的 |
| 测试点被否掉 | 只断言「没抛异常」、用方图测竖图、桩的参数写法和真代码不一致 | 这类「假绿」测了等于没测,全改成断言效果 + 变异自证:故意删掉关键一行,测试不转红就说明它是假的 |
| 先欠着 | 几千张图连续翻页的虚拟滚动 | 当前缩略图卸载已够用,等真卡了再做 |
| 待真机 | 主窗右键菜单 hover、文生图真接口、F11/Esc 全屏 | 这几处依赖真实 three.js 引擎和真实 Key,测试壳替不了,得人手点一次 |
还有一个反复出现的口径:排序不改、清除缓存不动、标签上限 5 个、画布背景和无网格默认值 —— 都是主人一句句拍下来的,实现时严格照做,没自作主张。
三、卡点难点(说人话)
挑几个印象最深的:
-
「2023 年的快递」:新建待办「明天拿快递」,一分钟后记忆里写着「主人明天取快递(2023-04-14)」。根因特别朴素 —— 提示词要求「内容里带月日」,却从没告诉模型今天几号,它就从训练语料里编了一个。修法也朴素:把今天/明天/后天的绝对日期写进提示词,落库前再把「明天」折成具体日子、把幻觉年份剥掉。
-
「AI 回答是空的」:标签生成偶尔失败,日志里模型原文一个字没有。查下来是模型自己偷偷开了「深度思考」,把 256 个字的输出预算全用在想上了,正文没份。修法是按链上具体型号关掉思考 —— 不能整条降级链统一加,后面那个老模型不认这个参数,一带就把备用路线也打断了。
-
「关个窗口也能把内容关丢」:取消命名时,主进程那个 4 秒强关兜底已经被撤掉,窗口就永远关不掉;保存失败时又照样强关,内容直接没;从托盘退出更是整套保存流程都被绕过。最后给每一次关闭发了个「号牌」,迟到的回调一律作废,才把这条状态机理顺。
-
「偷偷烧钱」:前面说那两次白跑的 LLM 只是冰山一角。一次「逻辑调用」背后可能是换模型 2 次 + SDK 自动重试 3 次 + 上层网络短重试,最坏放大成数次真实请求,而界面上你什么都看不出来。教训是:省 token 不能只数「调了几次函数」,得数「实际发出去几个请求」。
-
「同一张图出现两次 / 又少一张」:AI 生图合法地要同时进两个栏目,代码却全局按文件路径去重,后加载那组被整条吞掉,于是「角标写 4 张、列表只有 3 张」。改成用「分组 + 路径」当身份证就好了。
-
「点了没反应」的右键菜单:透明窗为了鼠标穿透会定时恢复穿透状态,菜单看得见却点不到;一级到二级之间那 3px 缝隙又不算菜单的子元素,鼠标横穿一下菜单就没了。两层原因叠一起,排查了挺久。
-
「改了颜色却不生效」:画布纸色改了主题配置还是白的 —— 官方样式把颜色写死在画布 DOM 那一层,而且用的是「容器自己加 class」的写法。选择器差一个空格,真窗口里量出来就是没变。后来凡是视觉改动,都补一条「读真实像素颜色」的断言,光看代码全绿不算数。
-
「测试全绿但功能是坏的」:这轮被反复教育。有次测试桩把参数写成对象,真代码收的是裸 id,桩里全绿、真机必挂;有次用方图去测竖图场景,怎么测都过。现在规矩是:断言效果 + 变异自证,故意把修复删掉看测试会不会转红 —— 不转红,说明这测试是摆设。
四、后续规划
- 虚拟滚动:图库真攒到几千张、连续翻页时再上,目前靠卸载位图够用。
- 补跑更扛造:把「某篇失败就整批停」改成「跳过这篇继续」,顺便给失败气泡去重。
- 记忆分层与可控遗忘:「主人是 Flutter 开发」这种对所有角色都成立的,不用每个角色各存一份;再加「锁定」「忘掉关于 X 的一切」「这条记忆是哪次对话来的」时间线。
- 真机复核清单:右键菜单 hover、文生图真接口、F11/Esc 全屏各走一遍,这几处测试壳替不了。
- 多模态记忆 / 跨设备同步与导出:让记忆能跟着数据一起搬家。
- 后面还会整 付费训练营,带大家从零做一个自己的数字人桌宠。
五、来一起玩?
dg-man 是个人项目,边做边在小红书 / 掘金记笔记。如果你也对 3D 数字人、Electron、Vue、three.js、AI 桌宠、本地大模型 感兴趣,欢迎关注我一起交流~ 也想找几个志同道合的一起把这个小桌宠养得更「活」。
#dgman #3D数字人 #Electron #Vue3 #threejs #VRM #独立开发 #桌面宠物 #AI桌宠 #数字人桌宠 #笔记应用 #记忆系统 #前端开发 #AI应用 #性能优化