davidhandsome86

表格类的数据，属于结构化的数据，大模型一直不擅长处理，如何对这样的数据进行有效的检索，实现RAG应用目前一直在探索，比如微软出的图-RAG，谷歌出的talbe-RAG,笔者尝试了一下几种方案，发现通过

有文件需要转换成PDF文件的情况，网上有很多csv转pdf的免费网站，但是使用效果并不好，于是想着使用python包，自己转换。 python版本为3.11.9 1,安装包 2,代码实现 以上是实现的

本文章不是模型微调，是从零构架大模型，是基于Bert架构的。 本文主要分两块，一个是tokenizer的构建。二是模型的构建和训练 第一部分 tokenizer分词器训练 bert的编码用的是Word

BPE BPE编码的tokenzier一般来说不需要特殊添加special_tokens,但是tokenizer打包的时候，如果不添加，就不能用于后续的预训练模型，所以在包装的时候，要加入如下 Wor

导言：Vanna作为一款优秀的llm生成sql(基于RAG)的python包，在github上获得了5K+的星，很受到开发人员的欢迎。本文是将vanna可以本地化应用，在100%离线的状态下，企业内网

本周，笔者在学习vanna.ai的时候，用到了Ubuntu系统下，python链接Oracle数据库的需求。经过两天的学习摸索，终于能链接成功了。得到了两个教训，记录一下。 之前建立conda虚拟环境

基于openai大模型的个人AI 助理，目前实现的功能有回答时间，地点，天气，发邮件，搜索查询等..

前端页面，我们使用streamlit架构开发，页面内容可根据实际情况调整，如下代码可参考 在命令行使用 即可打开本地电脑的8501端口，可以在本地用浏览器访问，也可以远端浏览器用ip加端口的形式访问，

既然是检索增强生成，我们主要是让大模型根据现有的知识图谱回答用户的问题，所以开发逻辑分3部分 1，是将用户问题embedding后，与向量数据库内的内容，进行相似度检索，代码如下 2，prompt提示