llamaindex基于sql查询,实现大模型对表格类数据的检索

194 阅读1分钟

表格类的数据,属于结构化的数据,大模型一直不擅长处理,如何对这样的数据进行有效的检索,实现RAG应用目前一直在探索,比如微软出的图-RAG,谷歌出的talbe-RAG,笔者尝试了一下几种方案,发现通过数据库查询效果不错。 尝试的方案如下: 1,将csv数据直接通过llamaindex检索,效果差,模型回答正确率30%。 2,csv转pdf格式通过llamaindex检索,效果差 3,csv转pdf格式通过llamaparse检索(每天免费1000页),效果差 以上通过文本形式或者markdown,检索效果都差强人意。 将数据放到数据库里,然后通过llamaindex对数据库的sql检索,可以显著提高数据检索的准确率, 具体实现可参照llama index的examples,链接如下: SQL Query Engine with LlamaIndex + DuckDB - LlamaIndex 以上供参考