1.千帆大模型简介
千帆大模型是百度智能云推出的全球首个一站式企业级大模型平台,核心功能涵盖大模型推理、精调等全流程 AI 开发(含稳定编程环境、分布式训练支持)、Agent 智能体与 RAG 知识问答等应用开发服务,还设有模型精调、Prompt 及应用场景等样板间,并提供千帆社区、Github 等 AI 开发资源;平台以文心大模型家族(如 ERNIE-4.0-Turbo-128K 等不同级别模型)为核心,同时接入 Llama 2、ChatGLM2-6B 等第三方模型,目前预置模型达 54 个且覆盖十余个场景,位居国内第一;其优势在于使用便捷(支持 API/SDK 快速集成)、安全稳定(多重防护与实时监控)、精调能力强(多种训练方法与效果评估机制)、成本较低(推理速度提升与按需计费),自 2023 年 5 月推出后持续升级,截至 2025 年 8 月已上线 103 个 Prompt 模板,为企业和开发者提供优质大模型服务。
2.集成AI大模型
AI模型集成可以让我们的开发中嵌入AI模型来解决数据解析等问题来帮我们生成固定模板的结果,不仅可以减少后端开发的时间,同时还可以增加开发的项目的灵活度,是一项非常好用的技术。关于AI集成的方法,百度云中已经给出了对对应不同编程软件的使用方法,这里不多赘述,直接讲讲我们在使用AI模型过程中要如何去调整输入的参数来控制AI的输出到理想的阙值内。
- prompt(提示词) :prompt就是我们在后端中和AI对话的对话内容,我们根据通过业务的要求来完成prompt模板的编写。不过百度智能云控制台中已经给出了非常多的prompt模板,并且还有prompt优化和评估功能,我们也可以根据自己的要求去制作prompt模板。
- temperature(温度) :用于控制模型输出的随机性,范围一般在 0 到 1.0 之间,默认值为 0.8。较高的数值会使输出更加随机,而较低的数值会使其更加集中和确定。
- max_output_tokens:指定模型最大输出 token 数,若设置此参数,范围通常在 2 到 2048 之间。如果不设置,最大输出 token 数为 1024。
- response_format:指定响应内容的格式,可选值为 “json_object”(以 json 格式返回)和 “text”(以文本格式返回)。若不填写,默认为 “text”。
- messages:对话信息,是一个列表类型,每个元素为一个字典,包含 “role”(角色,如 "user")和 “content”(内容)等键值对,用于记录对话历史和当前请求内容。其总长度不能超过 20000 个字符,且不能超过 5120 tokens。
- top_p:核采样参数,范围是 0.00 至 1.00。它会将模型的选择限制为可能性最高的一定比例的词汇,较低的值会使模型的回应更可预测,默认设置允许模型从全部范围的词汇中进行选择,值越大生成文本的多样性越强。
- presence_penalty:话题新鲜度惩罚参数,范围为 - 2.00 至 2.00。该参数旨在根据词汇在输入中出现的频率来控制词汇的重复使用,尝试较少使用那些在输入中出现较多的词汇,负值将鼓励重复使用词汇。
- frequency_penalty:频率惩罚度参数,范围是 - 2.00 至 2.00。此参数用于调整模型重复使用输入中已经出现的特定词汇的频率,较高的值会降低这种重复出现的可能性,负值则会鼓励词汇的重复使用。
- model:模型名称参数,用于指定平台支持预置服务的模型,对于 ERNIE-4.0-8K-Latest 模型,需设置为对应的模型标识,通常为固定值,具体可参考百度千帆大模型平台的相关文档。
- disable_search:联网参数,若设置该参数并将其值设为特定标识(如根据文档要求设置为关闭搜索功能的值),可关闭模型的实时搜索功能,不设置则根据默认情况开启搜索相关功能。
- system:用于人设设置,可在代码中设置该参数,定义模型的角色和相关任务等,例如设置为 “你是一个智能客服,主要任务是回答用户关于产品的咨询”,让模型按照设定的人设来生成回答。