Infinity：字节跳动开源高分辨率图像生成模型，生成 1024x1024 的图像仅需 0.8 秒

蚝油菜花
376 阅读3分钟

❤️ 如果你也关注 AI 的发展现状，且对 AI 应用开发非常感兴趣，我会每日跟你分享最新的 AI 资讯和开源应用，也会不定期分享自己的想法和开源实例，欢迎关注我哦！

🥦 微信公众号｜搜一搜：蚝油菜花 🥦

原文链接：mp.weixin.qq.com/s/j8b8rTEp9…

🚀 快速阅读

  1. 功能：Infinity 能够根据文本描述生成高分辨率、逼真的图像。
  2. 技术：采用位级自回归建模和无限词汇量标记器，提升图像生成质量。
  3. 性能：生成 1024×1024 的高质量图像仅需 0.8 秒，比 SD3-Medium 快 2.6 倍。

正文（附运行示例）

Infinity 是什么

公众号: 蚝油菜花 - Infinity

Infinity 是字节跳动推出的基于位级自回归建模的视觉生成模型，能够根据语言指令生成高分辨率、逼真的图像。该模型通过无限词汇量的标记器、分类器和位自纠正机制，显著提升了图像生成的细节和质量。

Infinity 在生成 1024×1024 的高质量图像时，仅需 0.8 秒，比 SD3-Medium 快 2.6 倍，且具有更快的推理速度。它为自回归文本到图像生成模型设定了新的性能标准。

Infinity 的主要功能

  • 文本到图像合成：用户输入文本描述，系统将生成相应的图像内容。
  • 空间推理：在生成图像时考虑空间关系，确保图像的空间布局合理。
  • 文本渲染：在图像中渲染文本，根据用户的指令调整字体、样式、颜色等。
  • 多风格和长宽比适应：生成不同风格和长宽比的图像，适应多样化的视觉效果需求。

Infinity 的技术原理

  • 位视觉自回归建模：基于位级别的预测框架重新定义视觉自回归模型，用无限词汇量的标记器和分类器。
  • 无限词汇量标记器：将标记器的词汇量扩展到无穷大，减少量化误差，提高细节重建能力。
  • 位自纠正机制：在训练过程中随机翻转某些位模拟预测错误，并重新量化残差特征，让系统具备自我纠正的能力。
  • 变换器（Transformer）扩展：扩展变换器的大小增强模型的生成能力。
  • 量化连续特征：将连续的特征量化为索引标签，通过位标签（量化特征）提供稳定的监督信号。

如何运行 Infinity

Infinity 提供了多种运行方式，包括通过 HuggingFace 模型库和 GitHub 仓库进行本地部署。以下是一个简单的运行示例：

from transformers import AutoModelForCausalLM, AutoTokenizer

# 加载模型和分词器
model = AutoModelForCausalLM.from_pretrained("FoundationVision/Infinity")
tokenizer = AutoTokenizer.from_pretrained("FoundationVision/Infinity")

# 输入文本描述
prompt = "A beautiful sunset over the mountains"

# 生成图像
output = model.generate(tokenizer(prompt, return_tensors="pt").input_ids)

# 保存生成的图像
output.save("generated_image.png")

资源

❤️ 如果你也关注 AI 的发展现状，且对 AI 应用开发非常感兴趣，我会每日跟你分享最新的 AI 资讯和开源应用，也会不定期分享自己的想法和开源实例，欢迎关注我哦！

🥦 微信公众号｜搜一搜：蚝油菜花 🥦

avatar
文章
阅读
粉丝