自研LLM推理框架

十年 C++ 后端 GAP 六个月，写了一个近 3 万行的LLM推理框架 1. 为什么写这个框架？ 作为工作多年的 C++ 后端开发者，面对如今 AI 大一统的局势，相信很多小伙伴应该和我一样都很焦虑