4.1 为什么 token 贵？
- 高可用与低延迟：API 需要 7×24 小时稳定响应，背后是大规模集群
- 训练成本高：数据、研发与训练基础设施昂贵
- 电力与散热：GPU 长时间高负载，电费与冷却成本高
- 运维复杂度：负载均衡、监控、容灾等基础设施有持续成本
4.2 如何省钱？
- Prompt 词库/模板化：更精确的提问减少来回轮次与 token 消耗
4.3 私有化部署常见问题
- 模型更新慢
- 显卡受限制：算力/显存不够可能跑不起来或体验差
- 软件与集群管理复杂：维护难度高
- 云端更灵活：弹性扩容更容易，综合成本可能更可控
4.4 为什么要冷却？（散热的意义）
- 过热会导致算力不稳、芯片性能下降，并加速 CPU/GPU 老化；部分元器件在高温下寿命明显缩短。
4.5 基础概念速记
- 显存（VRAM）：存放数据与中间计算结果的高速内存
- CPU：数据处理与流程控制更强，适合复杂控制逻辑
- GPU：大规模并行数值计算（矩阵、向量），适合训练与推理
5. 大模型未来三大趋势
- 通用性进一步提升：更强的理解与生成能力，覆盖更复杂任务
- 模型进一步轻量化：体量变小、算力需求降低，更易上端部署
- 融合度逐渐加深：与机器人等系统结合，落地场景更丰富
不足（当前常见限制）：
- 推理与记忆能力受限：难以稳定利用长期经验指导复杂决策
