davidhandsome86

大模型应用开发工程师

赞

0

|

搜索文章

10月前

llamaindex基于sql查询，实现大模型对表格类数据的检索

表格类的数据，属于结构化的数据，大模型一直不擅长处理，如何对这样的数据进行有效的检索，实现RAG应用目前一直在探索，比如微软出的图-RAG，谷歌出的talbe-RAG,笔者...

0

评论

1年前

使用fpdf2生成PDF文件

有文件需要转换成PDF文件的情况，网上有很多csv转pdf的免费网站，但是使用效果并不好，于是想着使用python包，自己转换。 python版本为3.11.9 1,安装包...

0

评论

1年前

从零训练Bert架构大模型

本文章不是模型微调，是从零构架大模型，是基于Bert架构的。本文主要分两块，一个是tokenizer的构建。二是模型的构建和训练第一部分 tokenizer分词器训练 ...

1

评论

1年前

BPE,WordPiece,Unigram 三种编码与special_tokens

BPE BPE编码的tokenzier一般来说不需要特殊添加special_tokens,但是tokenizer打包的时候，如果不添加，就不能用于后续的预训练模型，所以在包...

0

评论

关注了

1年前

Vanna的本地化部署

导言：Vanna作为一款优秀的llm生成sql(基于RAG)的python包，在github上获得了5K+的星，很受到开发人员的欢迎。本文是将vanna可以本地化应用，在1...

0

评论

平台：Android
系统版本：11
稀土掘金版本：v6.6.2 (Build-7e5fbf1e4)
设备：Xiaomi(Redmi K20 Pro)(miui_V125_V12.5.6.0.RFKCNXM)
问题描述：app不能已最新查看文章(不能按照时间排序)

展开

反馈 & 建议

评论

点赞

1年前

Ubuntu22.04系统python链接Oracle数据库

本周，笔者在学习vanna.ai的时候，用到了Ubuntu系统下，python链接Oracle数据库的需求。经过两天的学习摸索，终于能链接成功了。得到了两个教训，记录一下。...

0

评论

1年前

大模型应用开发之个人AI助理

基于openai大模型的个人AI 助理，目前实现的功能有回答时间，地点，天气，发邮件，搜索查询等.....

0

评论

关注了标签

1年前

RAG项目第五集：前端页面的开发和展示

前端页面，我们使用streamlit架构开发，页面内容可根据实际情况调整，如下代码可参考在命令行使用即可打开本地电脑的8501端口，可以在本地用浏览器访问，也可以远端浏...

1

评论

1年前

RAG项目第四集：RAG功能的实现

既然是检索增强生成，我们主要是让大模型根据现有的知识图谱回答用户的问题，所以开发逻辑分3部分 1，是将用户问题embedding后，与向量数据库内的内容，进行相似度检索，代...

1

评论

1年前

RAG项目第三集：自定义LLM大模型类的构建

本集我们通过第一集提供的大模型api接口，开发一个基于langchain的LLM的继承类，代码如下通过定义这个类，我们可以调用本地大模型了，为RAG主函数打下了基础这...

1

评论

1年前

RAG项目第二集：知识图谱embedding到向量数据库

网上很多文章都是讲把数据集嵌入到向量数据库后，直接在页面查询，虽然可以作为学习使用，但是不符合应用场景，用户都知道答案了，为啥还需要问大模型啊。所以笔者认为，应该是it或者...

1

评论

1年前

RAG项目第一集：大模型的本地加载和提供API接口

对于这个项目来说，因为考虑到数据不能出公司，所以不能用OPENAI的模型和接口，选择开源的大模型成了首要的问题，可根据显卡等配置的具体情况，选择不同参数的模型，笔者测试了l...

1

评论

个人成就

文章被点赞 6

文章被阅读 9,465

加入于

2024-02-01