lanssi

赞

1

|

搜索文章

赞了这篇文章

开发者社区 @HuggingFace

·

1年前

用 bitsandbytes、4 比特量化和 QLoRA 打造亲民的 LLM

众所周知，LLM 规模庞大，如果在也能消费类硬件中运行或训练它们将是其亲民化的巨大进步。我们之前撰写的 LLM.int8 博文展示了我们是如何将 LLM.int8 论文 ...

13

评论

1年前

mlc-llm安卓端部署流程

MLC-LLM是大模型的通用部署方案。以下是根据安卓部署官方文档的部署流程。主要安装步骤参考官方文档即可，这里仅为一些踩坑笔记，可以作为参考。部分说明基于自己理解，若有错...

4

评论

关注了

个人成就

文章被点赞 4

文章被阅读 1,663

加入于

2023-09-07