使用API运行大型语言模型Llama 3.1的技术指南

用户576110558132
4 阅读4分钟

通过API运行Meta Llama 3.1 405B

Llama 3.1是某中心发布的最新语言模型。它拥有高达4050亿的参数规模，在质量上可与GPT-4相媲美，并具备8000个token的上下文窗口。通过某机构的服务，只需一行代码即可在云端运行Llama 3.1。

在API游乐场中尝试Llama 3.1

在深入学习前，建议先在API游乐场中试用Llama 3.1。尝试调整提示词，观察Llama 3.1如何回应。某机构平台上的大多数模型都配有类似的交互式API游乐场，您可以在模型页面找到它。该游乐场是了解模型能力的绝佳方式，并提供多种编程语言的可复制代码片段，帮助您快速上手。

使用JavaScript运行Llama 3.1

可以通过官方JavaScript客户端运行Llama 3.1：

  1. 安装某机构的Node.js客户端库 
    npm install replicate
  2. 设置 REPLICATE_API_TOKEN 环境变量 
    export REPLICATE_API_TOKEN=r8_9wm**********************************
    （您可以在账户中生成API令牌。请妥善保管。）
  3. 导入并设置客户端 
    import Replicate from "replicate";

const replicate = new Replicate({
  auth: process.env.REPLICATE_API_TOKEN,
});
  4. 使用某机构的API运行 meta/meta-llama-3.1-405b-instruct 模型。可查阅模型的模式概览了解其输入和输出。 
    const input = {
  prompt: "Although you can hear and feel me but not see or smell me, everybody has a taste for me. I can be learned once, but only remembered after that. What exactly am I?"
};

for await (const event of replicate.stream("meta/meta-llama-3.1-405b-instruct", { input })) {
  process.stdout.write(event.toString());
};

使用Python运行Llama 3.1

可以通过官方Python客户端运行Llama 3.1：

  1. 安装某机构的Python客户端库 
    pip install replicate
  2. 设置 REPLICATE_API_TOKEN 环境变量 
    export REPLICATE_API_TOKEN=r8_9wm**********************************
    （您可以在账户中生成API令牌。请妥善保管。）
  3. 导入客户端 
    import replicate
  4. 使用某机构的API运行 meta/meta-llama-3.1-405b-instruct 模型。可查阅模型的模式概览了解其输入和输出。 
    # The meta/meta-llama-3.1-405b-instruct model can stream output as it's running.
for event in replicate.stream(
    "meta/meta-llama-3.1-405b-instruct",
    input={
        "prompt": "Although you can hear and feel me but not see or smell me, everybody has a taste for me. I can be learned once, but only remembered after that. What exactly am I?"
    },
):
    print(str(event), end="")

使用cURL运行Llama 3.1

也可以直接使用cURL等工具调用HTTP API：

  1. 设置 REPLICATE_API_TOKEN 环境变量 
    export REPLICATE_API_TOKEN=r8_9wm**********************************
    （您可以在账户中生成API令牌。请妥善保管。）
  2. 使用某机构的API运行 meta/meta-llama-3.1-405b-instruct 模型。可查阅模型的模式概览了解其输入和输出。 
    curl -s -X POST\
  -H "Authorization: Bearer $REPLICATE_API_TOKEN"\
  -H "Content-Type: application/json"\
  -H "Prefer: wait"\
  -d $'{
    "input": {
      "prompt": "Although you can hear and feel me but not see or smell me, everybody has a taste for me. I can be learned once, but only remembered after that. What exactly am I?"
    }
  }'\
  https://api.replicate.com/v1/models/meta/meta-llama-3.1-405b-instruct/predictions

此外，也可以使用某机构为Go、Swift等其他语言提供的客户端库来运行Llama。

关于Llama 3.1 405B

目前某机构平台上仅提供405B这一个Llama 3.1变体。该模型代表了开源语言模型的前沿水平：

  • 4050亿参数：这一庞大的模型规模使得其在开源模型中具备了前所未有的能力。
  • 指令微调：针对聊天和遵循指令的任务进行了优化。
  • GPT-4级别质量：在许多基准测试中，Llama 3.1 405B接近或达到了GPT-4的性能。
  • 多语言支持：训练数据涵盖8种语言，包括英语、德语、法语、意大利语、葡萄牙语、印地语、西班牙语和泰语。
  • 广泛的训练：基于超过15万亿个token的数据进行训练。

负责任的人工智能与安全性

Llama 3.1非常重视负责任的人工智能开发。某中心引入了一系列工具和资源，帮助开发者安全、合乎道德地使用该模型：

  • Purple Llama：一个开源项目，包含生成式AI模型的安全工具和评估。
  • Llama Guard 3：一个更新后的输入/输出安全模型。
  • Code Shield：一个帮助防止生成不安全代码的工具。
  • 负责任使用指南：模型伦理使用的指导方针。

建议在使用Llama 3.1构建应用程序时查阅这些资源。

示例聊天应用

如果想快速开始，可以使用基于Next.js构建的演示聊天应用，并可部署在Vercel上。

祝您编程愉快！ 🦙

avatar
文章
阅读
粉丝