在企业智能体项目中,知识库建设往往不只是上传 PDF、Word 等普通文档。
系统日志、接口返回结果、业务配置、历史问答数据等内容,通常以 JSON、JSONL 等半结构化格式存在。
此类数据虽然具备明确结构,但字段层级、数据风格和文件体积差异较大,直接接入知识库时,往往需要经过格式转换、文件拆分和人工校验。
qKnow 智能体构建平台专业版 v3.1.1,主要围绕半结构化知识数据的接入、解析、传输和导出流程进行了优化,进一步完善知识库问答对的数据处理能力。
一、支持区分普通文本与半结构化数据
企业数据通常可以分为三类:
- 结构化数据,如数据库表;
- 半结构化数据,如 JSON、JSONL、XML 和日志文件;
- 非结构化数据,如文档、图片和音视频。
传统知识库对非结构化文档的支持相对成熟,但在处理半结构化数据时,通常只能将其作为普通文本切分,无法充分利用原有字段结构。
qKnow 智能体构建平台专业版 v3.1.1 在知识文件上传环节新增了“知识类型”选项。
用户可以根据文件内容选择:
- 普通文本;
- 半结构化数据。
当文件被设置为半结构化数据后,平台会进一步要求选择对应的数据风格,并按照该风格识别问答字段,将原始数据转换为知识库可管理、可检索的问答单元。
这种处理方式适合以下数据:
- 历史客服问答;
- 已标注的训练数据;
- 接口返回的问答结果;
- 业务系统导出的 JSON 数据;
- JSONL 格式的批量问答记录。
相比直接按字符长度切分,基于数据结构进行解析,可以减少问题与答案错位、字段混杂以及上下文丢失等情况。
二、知识库问答对支持 JSON 和 JSONL 导出
知识库数据不仅用于检索增强生成,也可能被用于数据迁移、模型微调、质量评估和跨系统复用。
在 qKnow 智能体构建平台专业版 v3.1.1 中,qKnow 为知识文档增加了问答对导出功能。用户可以根据后续使用场景,自定义导出格式和数据风格。
目前支持的文件格式包括:
- JSON;
- JSONL。
支持的数据集风格包括:
- Alpaca;
- ShareGPT;
- Multilingual Thinking。
不同数据风格对应不同的字段组织方式。
例如,Alpaca 风格通常以 instruction、input 和 output 等字段组织数据;ShareGPT 风格更适合保存多轮对话;Multilingual Thinking 则可用于包含多语言内容或推理过程的数据场景。
用户选择导出格式和数据风格后,平台会同步展示数据示例,便于提前检查字段结构,避免导出后再进行二次转换。
该功能可以用于:
- 将知识库问答对迁移到其他系统;
- 生成大模型微调数据集;
- 备份经过人工修订的问答数据;
- 对接企业内部数据处理流程;
- 将知识库数据交付给算法团队继续处理。
从工程角度看,导出功能使知识库中的问答数据不再局限于平台内部使用,而是可以作为相对标准化的数据资产继续流转。
三、半结构化文件支持大文件上传和断点续传
半结构化文件经常来自日志平台、业务数据库或批量数据导出任务,单个文件可能达到数百 MB,甚至 GB 级别。
如果平台对上传文件大小限制较严格,用户通常需要提前进行文件拆分。这样不仅增加操作步骤,还可能带来以下问题:
- 文件切分位置不合理;
- 数据顺序被打乱;
- 同一组问答被拆分到不同文件;
- 上传失败后需要重新传输完整文件;
- 多个分片文件难以统一管理。
qKnow 智能体构建平台专业版 v3.1.1取消了半结构化文件的上传大小限制,并增加断点续传机制。
上传过程中如果出现网络中断,系统可以从已完成的位置继续传输,而不需要重新上传整个文件。
对于大规模 JSON、JSONL 数据接入场景,这项能力可以降低重复传输成本,也减少了人工拆分文件的工作量。
需要注意的是,取消文件大小限制并不意味着文件处理过程完全不受服务器资源影响。
实际部署时,仍需要根据文件体积、网络带宽、存储空间、解析并发数和服务端资源配置进行合理规划。
四、半结构化知识数据处理流程更加完整
经过本次升级,qKnow 对半结构化知识数据的处理流程可以概括为:
文件上传
↓
选择知识类型
↓
指定数据风格
↓
解析问答字段
↓
生成知识库问答对
↓
检索、编辑与管理
↓
按指定格式导出
这一流程覆盖了半结构化知识数据从接入到输出的主要环节。
对于已经积累大量 JSON 或 JSONL 问答数据的团队,可以直接按照对应数据风格导入知识库,减少格式转换和文件拆分操作。
知识库中的问答内容经过补充、修订或审核后,还可以重新导出为指定格式,用于后续迁移或模型训练。
五、提示词自定义能力的实际意义
除问答对导入和导出外,提示词自定义也是企业智能体应用中的重要能力。
不同知识库、业务部门和智能体角色,对模型回答方式的要求并不相同。例如:
- 客服智能体需要优先引用知识库内容;
- 运维智能体需要输出明确的排查步骤;
- 内部知识助手需要避免生成知识库之外的结论;
- 数据分析智能体需要按照固定结构返回结果。
通过自定义提示词,可以对模型的回答范围、语言风格、结果格式和知识使用方式进行约束。
但在实际使用中,提示词并不能替代知识库数据质量。模型输出效果仍然取决于以下因素:
- 原始问答数据是否准确;
- 数据结构是否规范;
- 文档切分是否合理;
- 检索结果是否相关;
- 提示词约束是否清晰;
- 模型本身是否适合当前任务。
因此,提示词自定义更适合作为知识库检索和模型能力之外的控制层,而不是单独解决所有回答质量问题。
总结
qKnow 智能体构建平台专业版 v3.1.1 的主要更新,集中在半结构化知识数据的工程化处理能力上:
- 上传时可以区分普通文本和半结构化数据;
- 支持按照指定数据风格解析 JSON、JSONL 问答内容;
- 知识库问答对可以导出为 JSON 或 JSONL;
- 支持 Alpaca、ShareGPT 和 Multilingual Thinking 等数据风格;
- 导出前可以预览示例结构;
- 半结构化文件支持大文件上传和断点续传;
- 支持通过自定义提示词约束智能体回答行为。
这些更新并不是单纯增加文件格式,而是补充了半结构化知识数据从导入、解析、管理到导出的完整流程。
对于拥有历史问答数据、业务日志、接口数据或模型训练数据的企业团队,新版本可以减少数据预处理、文件拆分和格式转换工作,使知识数据更方便地接入智能体应用,并支持后续迁移和复用。