大模型
4篇文章 · 0订阅
  • LLM生成Json结构化数据的几种方案
    个人目前认为最好的方式依然是`TypeScript约束Prompt + Yaml格式输出`，适用于90%的结构化输出场景。 如果不缺钱，使用接口提供的Json Mode也是一种很好的选择。
    ChatGPT OpenAI
  • 让大模型返回Json结构数据的最好的技术方案
    本文介绍了大模型如何返回json结构的数据，并分析了纯提示词方式、prompt + Json mode方式、prompt +JsonSchema方式、prompt + TS方式的技术有劣势。
    人工智能 LLM ChatGPT
    让大模型返回Json结构数据的最好的技术方案
  • 高并发场景下，为什么大厂都选择SSE而不是WebSocket？
    引言：一次推送技术引发的“血案” 某日深夜，某电商平台的服务器突然宕机。 事故原因：每秒100万用户通过WebSocket请求抢购茅台，服务器因频繁握手耗尽CPU资源。 解决方案：技术团队将协议切换为
    后端 前端
    高并发场景下，为什么大厂都选择SSE而不是WebSocket？
  • RAG 实践-Ollama+AnythingLLM 搭建本地知识库
    什么是 RAG RAG，即检索增强生成（Retrieval-Augmented Generation），是一种先进的自然语言处理技术架构，它旨在克服传统大型语言模型（LLMs）在处理开放域问题时的信息
    LLM