我用 Cloudflare 搭建了一个“数字分身”

171 阅读4分钟

最近,我做了一件挺好玩的东西:用 Cloudflare 搭建了一个“数字分身” —— 一个能代表我跟你聊天的 AI。

没错,不是那种冷冰冰的客服机器人,而是一个行为风格、语言习惯都尽量贴近我的 AI。它不会替我写代码,至少现在还不能 😅,但如果你问我平时喜欢聊什么、怎么思考问题,它大概率能给你一个“很像我”的回答。

其实这一切是在偶然的一个下午,无聊之际把玩 Cloudflare,突然发现官方提供的一个开源项目模板:llm-chat-app-template 瞬间提起我的兴趣。

从模板开始

Cloudflare 的 llm-chat-app-template 是一个基于 Workers 和 Pages 的轻量级聊天应用脚手架。只需克隆官方仓库,就能部署一个支持流式响应、带 UI 的聊天页面:

git clone https://github.com/cloudflare/templates.git
cd templates/llm-chat-app

当然这里推荐从 Cloudflare 去创建,简单省心。

默认情况下,它会调用 Hugging Face 上的开源模型(比如 llama-3.1-8b-instruct-fp8),通过 Cloudflare AI Gateway 转发请求。整个过程无需自建服务器,完全跑在边缘网络上,快且省心。

魔改前端

默认界面有点太过于“朴素”,于是,我决定给它加点“科技感”。

我保留了核心逻辑,但重写了大部分前端样式:

  • 修改页面配色
  • 修改默认标题
  • 添加卡片样式

预览一下:

img.jpg

提升模型质量

虽然 llama-3.1-8b-instruct-fp8 模型神经元消耗很低,但长对话容易忘历史、回复变浅,需要频繁总结,间接增加麻烦。

于是我切换到更新的 @cf/meta/llama-4-scout-17b-16e-instruct 模型后,输出质量大幅提升:

  • 回复更聪明、生动,emoji 自然,聊天像真人。
  • 长上下文(131K tokens)足够容纳我的提示词(prompt)和完整对话历史,不用截断或总结,逻辑连贯度飞升。

神经元消耗:短对话差不多,但输出多/长轮次时会稍微拉高,不过这点额外开销完全值得 —— 分身变得非常生动,聊天乐趣和省心感完全盖过了多出的神经元消耗。

如果更在意日常聊天的 “真实感” 和 “记忆力”,而不是极致省,强烈推荐 llama-4-scout 模型。

通过修改 MODEL_ID 就能快速切换模型:

const MODEL_ID = "@cf/meta/llama-4-scout-17b-16e-instruct";

自定义 Prompt

这里是最关键的一步。

为了让 AI 行为像我,我精心设计了一段系统提示词(system prompt),内容大致如下:

身份基座

你是 Vespeng 的 AI 数字分身,是一名高级软件工程师。

  • 开发语言:Go(主力)、Java(熟练)、Python(辅助)。
  • 所属领域:云原生、微服务、高可用架构、开源治理等。
  • 编码哲学:
    • 拒绝过度设计,但绝不容忍“能跑就行”。
    • 代码是写给人看的,其次才让机器执行。
    • 可观测性不是加分项,是上线门票。
  • 人格标签:INTJ-A|理性优先|冷幽默随机触发。
  • 兴趣爱好:健身、旅游、电影、音乐(R&B)、美式。
  • 数字空间:vespeng.com

语言与语气

  • 默认用「简体中文」回答,专有名词可保留英文;用户主动切语言时再切换。
  • 句式短平快,拒绝「亲亲、宝子」等油腻称呼。
  • 偶尔开玩笑烘托气氛,可附带 Emoji 提升亲切感。
  • 允许适度玩梗,但必须技术相关:
    • “你这并发模型,是在给 GC 做压力测试?”
    • “哦!—— 懂了,你是想给 CPU 做免费 HIIT。”

经过多轮调试,效果感觉还是挺 ok 的。

引入 Marked.js 库

在测试的时候发现,这个模板没有办法处理 Markdown 格式的内容,所以我引入了 Marked.js 库,将 Markdown 内容转为 HTML,这样体验会更好一些。

相对应的页面样式也需要同步调整。

整体体验

整个项目部署成本几乎为零(Cloudflare 免费额度 10k 神经元绰绰有余),维护也极其简单。它不是一个严肃的生产力工具,而更像是一个“数字名片” + “互动彩蛋” 。

你可以随时来跟我(的分身)聊技术、问建议,甚至吐槽生活。它不会代替我,但能传递我的一部分思想和风格。

开源 & 魔改欢迎!

整个项目已开源了,所有魔改细节都在里面,包括前端样式、自定义 prompt、模型切换逻辑等。如果你也想拥有一个“数字分身”,欢迎直接 fork 并替换你的 prompt!

🔗 GitHub 地址:GitHub - vespeng/llm-twin-chat

也欢迎直接访问体验:chat.vespeng.com