小型AI预训练模型

317 阅读1分钟

前言

作为前端 用这些AI写代码 极大提高了效率。所以也要学习大致原理啊。 这是一些预训练模型

  1. Hugging Face: Hugging Face是一个提供预训练模型和自然语言处理工具的平台。他们提供了许多小型的预训练模型,如DistilBERT、GPT-2等。你可以在Hugging Face的模型库(huggingface.co/models)中找到这…
  2. OpenAI GPT-3 API:OpenAI提供了GPT-3的API接口,使开发者能够通过API调用来使用GPT-3的功能。你可以访问OpenAI的官方网站(openai.com)了解有关API接口的信息。
  3. TinyBERT:TinyBERT是一种针对移动和嵌入式设备的轻量级预训练模型。相关论文为《TinyBERT: Distilling BERT for Natural Language Understanding》。
  4. MobileBERT:MobileBERT是专为移动设备和边缘计算优化的小型预训练模型。相关论文为《MobileBERT: A Compact Task-Agnostic BERT for Resource-Limited Devices》。
  5. DistilBERT:DistilBERT是一个经过蒸馏和压缩的小型BERT模型,保持了相对较高的性能。相关论文为《DistilBERT, a distilled version of BERT: smaller, faster, cheaper and lighter》。