NVIDIA H100 GPU加速模型训练与部署

NVIDIA H100 GPU 现已推出

现在可以在平台上使用 NVIDIA H100 GPU。 您现在还可以使用 2卡、4卡和8卡配置的 A100 和 L40S GPU。这些配置以前仅适用于部署，但现在可以将其用于常规模型和训练运行。 如果您一直在等待加速模型训练或尝试更强大的功能，现在正是好时机。

H100 定价

1卡 H100 现已面向所有人开放。 2卡、4卡和8卡 H100 目前仅限签订了承诺消费合同的用户使用。 如需访问权限，请发送邮件至 team@replicate.com。

硬件	价格（每秒）	价格（每小时）	GPU	GPU 内存	CPU	内存
H100	$0.001525	$5.49	1x	80GB	13x	72GB
2x H100	$0.003050	$10.98	2x	160GB	–	–
4x H100	$0.006100	$21.96	4x	320GB	–	–
8x H100	$0.012200	$43.92	8x	640GB	–	–

A100 定价 (2卡, 4卡, 8卡)

这些针对 A100 的多 GPU 设置现已可用于模型（此前已可用于部署）：

硬件	价格（每秒）	价格（每小时）	GPU	GPU 内存	CPU	内存
2x A100 (80GB)	$0.002800	$10.08	2x	160GB	20x	288GB
4x A100 (80GB)	$0.005600	$20.16	4x	320GB	40x	576GB
8x A100 (80GB)	$0.011200	$40.32	8x	640GB	80x	960GB

更多详细信息，请参阅完整的硬件定价列表。

L40S 定价 (2卡, 4卡, 8卡)

这些针对 L40S GPU 的多 GPU 设置现已可用于模型（此前已可用于部署）：

硬件	价格（每秒）	价格（每小时）	GPU	GPU 内存	CPU	内存
2x L40S	$0.001950	$7.02	2x	96GB	20x	144GB
4x L40S	$0.003900	$14.04	4x	192GB	40x	288GB
8x L40S	$0.007800	$28.08	8x	384GB	80x	576GB

更多详细信息，请参阅完整的硬件定价列表。

使用 H100 GPU 创建新模型

您可以通过网页或 HTTP API 创建新模型。 以下是一个使用 cURL 命令创建使用 H100 GPU 的新模型的示例：

curl -s -X POST \
  -H "Authorization: Bearer $REPLICATE_API_TOKEN" \
  -H 'Content-Type: application/json' \
  -d '{"owner": "my-username", "name": "my-model", "description": "An example model", "visibility": "private", "hardware": "gpu-h100"}' \
  https://api.replicate.com/v1/models

通过 API 列出可用硬件

以下是一个使用 cURL 命令列出您账户可用硬件的示例：

curl -s -X GET \
  -H "Authorization: Bearer $REPLICATE_API_TOKEN" \
  https://api.replicate.com/v1/hardware

此命令将输出所有可用的硬件选项列表，以及您通过 API 创建新模型时可以在 hardware 字段中使用的 SKU 名称：

[
  {
    "sku": "cpu",
    "name": "CPU"
  },
  {
    "sku": "gpu-a100-large",
    "name": "Nvidia A100 (80GB) GPU"
  },
  {
    "sku": "gpu-a100-large-2x",
    "name": "2x Nvidia A100 (80GB) GPU"
  },
  {
    "sku": "gpu-a100-large-4x",
    "name": "4x Nvidia A100 (80GB) GPU"
  },
  {
    "sku": "gpu-a100-large-8x",
    "name": "8x Nvidia A100 (80GB) GPU"
  },
  {
    "sku": "gpu-h100",
    "name": "Nvidia H100 GPU"
  },
  {
    "sku": "gpu-l40s",
    "name": "Nvidia L40S GPU"
  },
  {
    "sku": "gpu-l40s-2x",
    "name": "2x Nvidia L40S GPU"
  },
  {
    "sku": "gpu-l40s-4x",
    "name": "4x Nvidia L40S GPU"
  },
  {
    "sku": "gpu-l40s-8x",
    "name": "8x Nvidia L40S GPU"
  },
  {
    "sku": "gpu-t4",
    "name": "Nvidia T4 GPU"
  }
]

更新您的部署

如果您正在使用一个部署，可以更新硬件配置以使用 H100 或任何这些新的多 GPU 设置。 您可以通过网页编辑部署配置，或使用 HTTP API。 如果不确定如何最佳配置您的部署，请发送邮件至 support@replicate.com。