春节deepseek爆火,在体验了其强大的推理能力后,便对人工智能的发展充满了想象。在春节期间,deepseek经常无法访问,于是在网上查找了本地部署的方案,但是由于电脑配置原因,只能安装1.5b版本,其效果当然是大打折扣,但部署起来也成就感满满。
后来想部署一个更大参数的模型,于是购买了配置4090 GPU的工作站。从此便开始了我的AI探索之旅。
三月份,爆火的通用智能体Manus也出来了,更是让人振奋不已。它让我们看到了,AI能够长上手脚,成为我们的得力助手,帮助我们解决真正的问题。只可惜,由我们国内团队开发的产品,但国内却不能用,很荒诞!
三月底,我从海康正式离职了,开始了我的全职AI探索。离职后,周围听到的都是经济大环境不好,一时有些动摇,曾打算继续找一份工作。直到4月底的时候,才下定决心,All in AI。
做什么产品呢?在春节期间,由于我感受到了本地部署模型的快乐,我曾想做一个本地部署开源大模型的工具,然后结合RAG检索,做个人的知识管理。这个想法很好,当然也能满足自己学习使用,但是如果做创业项目,必须考虑到如何变现,毕竟要考虑生存问题,而且也只有能变现才能将产品持续迭代下去。这显然不是一个好赛道。
Manus之后也关注到了很多公司的Agent,生成网页的,生成PPT的等,如雨后春笋般出现。但是如果在国内做这些to C应用,基本是没法变现的。我到底应该做什么?做智能体开发平台,面向企业应用,在3月份了解到一些智能体开发平台后便有了这个想法。
五一假期过后,我正式开始了我的智能体平台开发。由于之前开发和架构经验比较丰富,很快我便确定好了技术选型和系统架构。前端采用目前比较流行的vue,同时需要用到智能体可视化编排,于是通过对比选择了滴滴公司开源的logicflow,智能体框架选用langchain,后端服务框架采用性能高效的FastAPI,结构化数据存储采用mysql,向量数据存储选用Milvus,缓存采用Redis。在数据存储方面,我考虑到了集群规模问题,mysql比较稳定,采用分库分表方式;Milvus是原生向量数据库,性能好,同时支持集群模式;而Redis天然也支持集群模式。所以,我们的架构为后续的集群部署也打好了基础。同时考虑到角色权限管理是一个很通用的功能,于是选择了RuoYi开源框架,不用自己实现角色权限管理,为我节省了很多时间。
历时两个半月,在7月中旬,基本功能开发完成。完整具备了模型管理、知识库管理、工具库管理、智能体管理的功能,用户可以根据自己的需求创建智能体,而且智能体可以设置权限,私有或公开使用。当然,在这期间也有穿插其他的事情,比如注册公司等各种琐事。
我给我的平台起了名字:ZAI(Zero to AI),即帮助企业和个人从0开始部署和落地AI应用。
就像它的名字一样,它能帮助我们非常轻松地构建AI应用。它一共分四个功能模块:
模型管理
支持主流大语言模型接入,包括DeepSeek、Qwen、文心一言等,满足不同场景的AI需求。你只需要去各大模型平台,比如阿里百炼、火山引擎、deepseek官方等注册获取密钥,在模型管理里配置好你的密钥,后续就可以在智能体中进行使用。同时也支持本地Ollama部署的模型。
工具管理
提供丰富的工具生态,覆盖各行业场景,支持自定义MCP工具扩展,满足个性化需求。你可以使用第三方的在线MCP服务,也可以自行开发部署MCP服务,只要符合MCP规范,均可以接入这个平台使用。这个入口也是后续与企业业务集成的主要入口。
知识库管理
知识库管理模块为企业提供了对自有业务知识的组织、存储和检索能力,是实现检索增强生成(RAG)的基础。通过知识库管理,用户可以将企业内部的文档、手册、数据等上传到平台,通过文档切分和向量化,并配置索引和检索策略,使智能体在回答问题时能够引用这些最新的、权威的资料,从而提升回答的准确性和可信度。
知识库的切分有多种策略,有智能切分、语义切分、token切分。可以根据需要进行选择。嵌入向量可以使用第三方向量模型,也可以使用本地部署的模型,系统也内置了一些开源嵌入模型,可以直接使用。
智能体管理
简单配置模式: 通过选择配置实现智能体功能,可以自定义提示词,选择工具,让智能体具备某种特定功能。
高级编排模式:可以构建RAG应用,也可以构建多智能体协作应用,实现更丰富和复杂的功能。
以上就是平台的主要功能。我部署了一个线上体验版本,欢迎在电脑使用:WWW.ZYCDAI.COM,欢迎大家体验,并提出建议!
使用体验
以下是图表助手智能体的截图,你可以在公开智能体中选择使用:
你也可以根据自己的需求来创建智能体,通过填写提示词,选择MCP工具来达成智能体的功能。
后续方向
1、扩展工具库,包括一些常用的比如抓取网页、读取内容等工具;
2、开发通用模板智能体,比如生成报告、财务智能体、HR智能体等;
3、性能和稳定性的持续提升。
在线体验地址:WWW.ZYCDAI.COM,欢迎大家在电脑端体验,并提出建议!