周家申
软件开发工程师
|
北京科蓝
获得徽章 0
关注了
赞了这篇沸点
《AI大模型之美》4月day5
我们通过 sentence_transfomers 类型的模型，生成了文本分片的 Embedding，并且基于这个 Embedding 来进行语义检索。我们通过 ChatGLM 这个开源模型，实现了基于上下文提示语的问答。在简单的电商 QA 这样的场景里，效果也还是不错的。即使我们使用的都是单机小模型，它也能正确回答出来。这些方法，也能节约我们的成本。不用把钱都交给 OpenAI，可以攒着买显卡来训练自己的模型。
但是，当我们需要解决更加复杂的问题时，比如需要更长的上下文信息，或者需要模型本身更强的推理能力的时候，这样的小模型就远远不够用了。更长的上下文信息检索，我们还能够通过在云端部署更大规模的模型，解决部分问题。但是模型的推理能力，目前的确没有好的解决方案。
所以不得不佩服，OpenAI 的在 AGI 这个目标上耕耘多年后震惊世人的效果。
我们通过 sentence_transfomers 类型的模型，生成了文本分片的 Embedding，并且基于这个 Embedding 来进行语义检索。我们通过 ChatGLM 这个开源模型，实现了基于上下文提示语的问答。在简单的电商 QA 这样的场景里，效果也还是不错的。即使我们使用的都是单机小模型，它也能正确回答出来。这些方法，也能节约我们的成本。不用把钱都交给 OpenAI，可以攒着买显卡来训练自己的模型。
但是，当我们需要解决更加复杂的问题时，比如需要更长的上下文信息，或者需要模型本身更强的推理能力的时候，这样的小模型就远远不够用了。更长的上下文信息检索，我们还能够通过在云端部署更大规模的模型，解决部分问题。但是模型的推理能力，目前的确没有好的解决方案。
所以不得不佩服，OpenAI 的在 AGI 这个目标上耕耘多年后震惊世人的效果。
展开
评论
2
赞了这篇文章
赞了这篇文章
关注了标签 
Shell
Shell