Open Trai

3 阅读1分钟

Open Trai

🔥 Open Trai 是一款超高可视化、定制化的多模态AI口袋训练蛋蛋机-AI引擎 (Desktop),注重随身即可进行AI整合训练 (基础模型的全部抽象化), 高自由度、安全、私有化集一身的VLA范式。随时随地训练出你专属的AI具身智能体!

自研 SVDS-R(AI) 超融合架构模式
Super View Desktop Service - Rust(AI)

Open Trai

image-1.png

Vision

“Vision 提供视觉层推理能力,基于 ConvNeXt/VIT 搭建的基础模型可直接进行训练微调。视觉层可随意放置在任何虚拟环境中的智能体身上并提供相应的视觉能力。例如:训练游戏中NPC的视觉层进行推理与决策。”

image-2.png

Language/Audio

“Language/Audio 提供语言/音频层推理能力,基于 LLM & LSTM 搭建的基础模型可直接进行训练微调。语言/音频分为命令层(RNN)和大语言层(LLM)并提供 Function Calling 插件模式。例如:训练虚拟环境中的智能体基于RNN命令 Function Calling 场景移动或基于LLM大语言意图识别 Function Calling 对话交互进行推理与决策。”

image-3.png

MLP

“MLP 提供多标签分类任务层推理能力,基于 MLP 搭建的基础模型可直接进行训练微调。任务层会帮助智能体通过定时任务或在智能体身上的各感知层协同模型进行任务的推理与决策。”

image-4.png

Open Trai Core code 目录结构

v0.1.0
📦 open-trai
├── 📂 node
│   └── 📄 node.js 💻-example
├── 📂 src
│   ├── 📂 components
│   │   └── 📄 SceneMain.js 💻-example
│   ├── 📄 App.vue 💻-example
│   └── 📂 src-tauri
│       ├──📄 Cargo.toml
│       └──📂 src
│           ├── 📄 lib.rs 💻-example
│           ├── 📄 lib.transformers.rs 💻-example
│           └── 📄 main.rs 💻-example
└── 📄 README.md

Gitee 传送门 😊