原文链接:OpenAI推出半价批量API
最新消息，对于那些需要批量处理大量数据的开发者来说，今天有个好消息：OPENAI刚刚推出了一款专为开发者设计的批量处理API，而且享受50%的折扣！
通过这个新工具，开发者可以一次性提交大量内容，并在24小时内收到处理结果。
可以根据 ChatGPT API申请教程 这篇文章提交的教程，很方便就可以开通ChatGPT API服务。
referer:twitter.com/OpenAIDevs/…
批量处理API的好处
对于开发者来说，可以享受50%的折扣，成本下降了。而且在处理大批量的文本、摘要、翻译或图像分类时，这种方式极为适合，因为这些任务通常不需要即时响应，开发者可以提交后静待OPENAI处理完毕再进行后续操作。
对于OpenAI来说，通过在非高峰时段处理这些批量请求，OPENAI能够更有效地平衡服务器负载并降低成本。
这种模式对双方都有利。根据OPENAI的API文档，除了半价优惠，开发者还能享受到更高的请求处理速率，即每分钟可提交更多的请求。
如何使用批量处理API
开发者需要通过JSONL文件格式提交数据，将所有请求整合到一个JSONL文件中，然后通过batch参数上传到服务器。
referer：twitter.com/MindMacApp/…
详细的使用方法包括创建批处理任务、请求正文格式和结果检索可以参考下面的步骤。
准备JSON格式的文件
{
"custom_id": "mmrequest-1",
"method": "POST",
"url": "/v1/chat/completions",
"body": {
"model": "gpt-3.5-turbo",
"messages": [
{
"role": "system",
"content": "You are a helpful assistant."
},
{
"role": "user",
"content": "What is 2+2?"
}
]
}
}
提交文件
curl https://api.openai.com/v1/files -H "Authorization: Bearer $OPENAI_API_KEY" -F purpose="batch" -F file="@/Users/username/Downloads/mmbatch.jsonl"
调用批量处理API
curl --request POST --url https://api.openai.com/v1/batches --header "Authorization: Bearer $OPENAI_API_KEY" --header 'Content-Type: application/json' --data '{ "input_file_id": "file-id-from-step-2", "endpoint": "/v1/chat/completions", "completion_window": "24h" }'
获得批量处理任务状态
curl https://api.openai.com/v1/batches/{batch_id_from_step_3} -H "Authorization: Bearer $OPENAI_API_KEY"
获得处理结果
curl https://api.openai.com/v1/files/{file_output_id_from_step_4}/content -H "Authorization: Bearer $OPENAI_API_KEY" > batch_output.jsonl
更多的详细使用方法，可以参考官方OpenAI的批量处理API
referer:platform.openai.com/docs/api-re…
批量处理API支持模型
当前批量处理的API支持的模型包括：
- gpt-3.5-turbo
- gpt-3.5-turbo-16k
- gpt-4 gpt-4-32k
- gpt-4-turbo-preview
- gpt-4-turbo
- gpt-3.5-turbo-0301
- gpt-3.5-turbo-16k-0613
- gpt-3.5-turbo-1106
- gpt-3.5-turbo-0613
- gpt-4-0314
- gpt-4-turbo-2024-04-09
- gpt-4-32k-0314
- gpt-4-32k-0613
总结
总的来说，推出这种异步任务对OpenAI和调用方都是一个双赢的结果。
OpenAI 来说可以在非高峰期时处理这些请求，这样可以平衡服务器资源节省成本。
对于开发者来说，处理实时性要求不高的任务，只需要支付 50% 的费用，成本也下降了。
对于我自己来说，目前我个人主要是在编程方面用得比较多，所以API的方式比较适合我，每天高强度使用GPT4-Turbo的API，每个月的花费也不会到20美刀。
可以根据 ChatGPT API申请教程 很快捷开通ChatGPT API服务。
当然，如果有画图和修改图片的需求，那么显然ChatGPT Plus更加合适。也可以按照ChatGPT Plus 升级教程 升级到 ChatGPT Plus。
