简介
Github Models 是由 GitHub 推出的一款新服务,允许开发者免费查找和试用AI模型。GitHub Models提供了对各种大小流行模型的访问权限,包括 Meta 的 Llama 3.1、OpenAI 的 GPT-4o 和 GPT-4o mini、微软的 Phi 3、Mistral AI的 MistralLarge 2 等等。
优势
免费使用,通过 Playground 和 API 使用
限制
- 需要科学上网
- 使用频率和请求限制
Playground 和 免费API 的使用受每分钟请求数、每日请求数、每个请求的令牌数和并发请求的速率限制。如果您受到速率限制,则需要等待您达到的速率限制重置,然后才能发出更多请求。低、中、高和嵌入模型有不同的速率限制。
例如Low限制条件:个人每天限制 150 次,每分钟不能超过 15次,每次token有上限:输入为8000,输出为4000。
官网
Playground
开发者可以通过内置 PlayGround 访问、部署每个模型,由此在 GitHub 中免费测试不同的Prompt和模型参数,此外,也可以直接将模型带入到 GitHub Codespaces、Visual Studio Code等开发者环境中。
GitHub还强调,Models中的任何 Prompt 或者输出内容都不会与模型提供商共享,也不会用于训练或改进模型。
需要登录,登录后可进入Playground
界面功能
模式切换
Playground提供了Chat、Code和Raw 3种模式:
- Chat:UI形式的聊天页面
- Code:OpenAI请求的代码
- Raw:请求和响应的原始数据
模型选择
在模型下拉列表有非常多的模型可供选择
模型对比
Playground提供的模型对比工具,可以选择任意两个模型进行对比,模型差距一目了然
|
其他功能
Playground提供了常用的提示词及模型配置选项,可以在工具栏处轻松配置系统提示词及模型配置。
模型参数配置(新手无需关心),需要的可以自行探索
API Key
获取API Key
Github Models中获取的API Key实际上就是Github的授权token,获取步骤如下:
API 使用
API的使用方式可以使用SDK或者cURL
在Cline中使用
经尝试,目前只能通过API形式请求,在Cline中目前无法正常使用
友情提示
见原文:Github Models 模型助力)
本文同步自微信公众号 "程序员小溪" ,这里只是同步,想看及时消息请移步我的公众号,不定时更新我的学习经验。