探索Intel Weight-Only量化：优化Hugging Face模型性能的新路径

用户026700199494
106 阅读2分钟

引言

在机器学习模型领域，尤其是NLP领域，模型的大小和计算需求是主要的挑战。Intel的Weight-Only量化技术为我们提供了一种优化模型性能的新方法。本文旨在介绍如何使用Intel Extension for Transformers实现Hugging Face模型的Weight-Only量化，并在本地环境中高效运行这些模型。

主要内容

什么是Weight-Only量化？

Weight-Only量化是一种通过压缩模型权重来减少模型大小和提高计算效率的技术。在这种方法中，仅对权重进行量化，而计算仍然保持在更高精度的数据类型中。

所需工具

要使用Weight-Only量化，您需要以下软件包：

%pip install transformers --quiet
%pip install intel-extension-for-transformers

此外，由于某些地区的网络限制，您可能需要使用API代理服务保证访问稳定性。

加载模型

可以通过指定模型参数来加载模型，包括使用WeightOnlyQuantConfig类进行配置：

from intel_extension_for_transformers.transformers import WeightOnlyQuantConfig
from langchain_community.llms.weight_only_quantization import WeightOnlyQuantPipeline

conf = WeightOnlyQuantConfig(weight_dtype="nf4")
hf = WeightOnlyQuantPipeline.from_model_id(
    model_id="google/flan-t5-large",
    task="text2text-generation",
    quantization_config=conf,
    pipeline_kwargs={"max_new_tokens": 10},
)

创建链

加载模型后，可以通过组合提示创建一个链：

from langchain_core.prompts import PromptTemplate

template = """Question: {question}

Answer: Let's think step by step."""
prompt = PromptTemplate.from_template(template)

chain = prompt | hf

question = "What is electroencephalography?"

print(chain.invoke({"question": question}))

代码示例

下面是一个完整的代码示例，展示了如何使用Weight-Only量化的模型进行批量处理：

conf = WeightOnlyQuantConfig(weight_dtype="nf4")
llm = WeightOnlyQuantPipeline.from_model_id(
    model_id="google/flan-t5-large",
    task="text2text-generation",
    quantization_config=conf,
    pipeline_kwargs={"max_new_tokens": 10},
)

template = """Question: {question}

Answer: Let's think step by step."""
prompt = PromptTemplate.from_template(template)

chain = prompt | llm.bind(stop=["\n\n"])

questions = [{"question": f"What is the number {i} in french?"} for i in range(4)]

answers = chain.batch(questions)
for answer in answers:
    print(answer)

常见问题和解决方案

CPU推理支持

目前，Intel Extension for Transformers仅支持CPU设备推理。您可以通过设置device="cpu"或device=-1来指定模型在CPU设备上运行。

数据类型支持

支持将权重量化为以下数据类型：int8、int4_fullrange、int4_clip、nf4、fp4_e2m1。计算仍在float32、bfloat16或int8中进行。

总结和进一步学习资源

Weight-Only量化为模型优化提供了有效的手段，特别是在资源有限的环境中。希望这篇文章能帮助您更好地理解和应用这项技术。

进一步学习：

参考资料

  • Hugging Face Model Hub
  • Intel Extension for Transformers

如果这篇文章对你有帮助，欢迎点赞并关注我的博客。您的支持是我持续创作的动力！

---END---

avatar
文章
阅读
粉丝