[开源求助] 我用AI独立构建了一套先进的本地RAG框架,但在Windows打包上被卡住了,寻求开发者合作!

150 阅读4分钟

[开源求助] 我用AI独立构建了一套先进的本地RAG框架,但在Windows打包上被卡住了,寻求开发者合作!

大家好!

我是一个刚接触编程不久的新人(2025年1月才开始),在 AI 的帮助下,我独立设计并构建了一个我引以为傲的开源项目:zhzAI

它不是一个简单的AI聊天工具,而是一个功能非常强大的纯本地运行的RAG(检索增强生成)框架。它旨在为普通办公用户提供一个安全、智能、完全离线的私人知识库解决方案。


这个项目的核心技术亮点:

  • 先进的混合式 RAG 引擎: 整合了向量检索BM25关键词检索,并通过 RRF 融合算法Cross-Encoder 精排模型,旨在从用户的海量文档中召回最精准的上下文信息。
  • 自动化数据流水线: 实现了纯Python的自动化数据处理流水线,能监控目录变化,并深度解析包括 docx, pdf, xlsx 在内的多种复杂文档格式(尤其是能将表格精确转为Markdown)。
  • 本地化模型支持与软硬件协同 (HAL): 深度集成了轻量级的本地大语言模型(如Qwen 1.7B GGUF)和嵌入模型。框架能够检测用户硬件,并动态调整GPU使用策略,在普通办公电脑上也能流畅运行。
  • 高质量、忠于原文的答案生成: 通过精心设计的 Prompt Engineering,引导LLM严格基于检索到的上下文生成答案,从根本上抑制模型幻觉,使其成为一个忠实的“阅读理解者”。

项目的技术细节、架构图景和未来规划都在 README 中有非常详细的介绍。


我遇到的困境(我需要您的帮助!):

我坚信这个RAG框架在功能和架构上已经非常成熟,但我被“最后一公里”的工程化问题卡住了。由于我不懂编程,很多问题无法高效解决。

具体来说,我遇到的核心困难是:

  1. Windows 打包与分发 (最大的瓶颈)

    • 项目依赖 torch, llama-cpp-python, duckdb 等库,在 Windows 上的编译、打包和环境隔离极具挑战。
    • 我的实现细节: 为了性能,LLM推理部分使用的是 llama.cpp 官方编译文件;而嵌入模型部分,则是我通过自己编译 llama-cpp-python 来实现的。这增加了打包的复杂度。
    • 已尝试的方案: 我已放弃 PyInstallerNuitka,因为它们都无法解决 llama.cpp 的底层依赖问题。目前考虑使用嵌入式 Python 环境的方案,但这同样需要专业的工程经验。
  2. Windows 平台迁移

    • AI 辅助的局限性: 我发现,由于项目内部各模块(如数据流水线、检索服务、LLM接口等)的代码在逻辑和结构上具有极高的相似性,AI 工具在进行代码迁移时,常常会混淆上下文,产生幻觉,无法实现“像素级”的精确对齐,导致 Windows 上的测试严重失败。
  3. 代码的工程化与重构

    • 我需要有经验的开发者帮助我梳理和解耦部分核心模块,使其更易于维护和扩展。
    • 项目目前缺少一套自动化测试流程,来保证代码的健壮性。

我理想中的合作伙伴:

我真诚地希望能找到对 RAG 技术本地LLM应用充满热情,并且熟悉 Python 项目工程化,尤其是在 Windows 环境下有打包和部署经验的开发者朋友,与我一同合作。

如果您能深入理解整个项目架构,而不仅仅是修改孤立的代码片段,那将是再好不过了!

如果您对解决这些挑战感兴趣,或者对这个项目有任何想法和建议,我非常期待您的帮助!请通过以下方式联系我,或者直接在 GitHub 上提 Issues。

感谢大家的时间和关注!