LLM

如何利用多家 LLM API 打造一个口语陪练机器人，浅聊一下 bot 的设计思路、技术栈及实现中遇到的问题。

时间线里经常看到各路大神你来我往的推荐 DSPy ，近日终于有空尝试了一下，有惊喜也有惊吓。天下没有完美的框架，就看适不适合自己了。

介绍了MoE（Mixture of Experts）模型中的TopK算法，解释了为什么要在其中添加噪音。添加噪音的主要目的是为了解决专家网络负载不均衡的问题，确保所有专家都能相对均匀地处理样本。

本文探讨了 prompt cache 的基本原理，以及如何结合标记语言实现 prompt cache。

对比评估 HuggingChat 开源七大模型在电影信息提取任务上的表现，Mixtral-8x7B-DPO 是真的不错。

Tree of thoughts(ToT) 是由普林斯顿大学和谷歌 DeepMind 联合提出的一种新型模型推理框架，是 Chain of Thoughts Prompting(CoT) 的泛化形态。

自五月份 Google 宣布 Gemini 模型开始训练以来，历时半年有余，Google Gemini 终于在 12 月 6 日隆重登场。与此同时，OpenAI 的 ChatGPT 发布刚好一周年。