InfiniteYou：写真AI革命！字节核弹级AI秒出定制人像，身份保持度拉满

蚝油菜花
242 阅读4分钟

❤️ 如果你也关注 AI 的发展现状，且对 AI 应用开发感兴趣，我会每日分享大模型与 AI 领域的开源项目和应用，提供运行实例和实用教程，帮助你快速上手AI技术！

🥦 AI 在线答疑 -> 智能检索历史文章和开源项目 -> 丰富的 AI 工具库 -> 每日更新 -> 尽在微信公众号 -> 搜一搜：蚝油菜花 🥦

📸 「证件照自由了！字节黑科技让AI生成『比本人更像你』」

大家好，我是蚝油菜花。你是否也经历过这些AI写真惨案——

  • 👉 花299拍形象照，生成效果像「整容失败的远房表弟」
  • 👉 用AI做产品海报，模特脸随机切换成甲方老板
  • 👉 想复刻童年老照片，AI把全家福变成陌生人聚会...

今天要炸场的 InfiniteYou 正在重定义数字身份！这个字节出品的AI造像神器：

  • ✅ 身份锁定黑科技：InfuseNet将面部DNA注入扩散模型，相似度碾压Deepfake
  • ✅ 写真级质感：FLUX架构生成毛孔级细节，光影堪比好莱坞打光团队
  • ✅ 插件生态加持：兼容ControlNet/LoRA，婚纱照一秒切换赛博朋克风

已有自媒体用它日更百张「虚拟代言人」，电商团队靠它生成千人千面商品图——你的数字分身，是时候拥有「基因级」身份证了！

🚀 快速阅读

InfiniteYou 是字节跳动推出的基于扩散变换器的身份保持图像生成框架。

  1. 核心功能：支持身份保持、文本驱动图像生成、高质量图像输出，兼容多种插件化工具。
  2. 技术原理：通过 InfuseNet 注入身份特征，结合多阶段训练策略，提升图像生成质量和文本对齐效果。

InfiniteYou 是什么

InfiniteYou

InfiniteYou（InfU）是字节跳动智能创作团队推出的基于扩散变换器（Diffusion Transformers，如 FLUX）的身份保持图像生成框架。它通过 InfuseNet 将身份特征注入扩散模型，增强身份相似度，同时保持图像生成能力。

InfiniteYou 结合了多阶段训练策略，包括预训练和监督微调（SFT），使用合成的单人多样本（SPMS）数据，提升文本与图像对齐、图像质量和美学效果。其性能卓越，兼容性强，为生成式 AI 领域做出了重要贡献。

InfiniteYou 的主要功能

  • 身份保持：生成的图像高度保留输入身份图像的面部相似度。
  • 文本驱动的图像生成：用户基于文本描述控制生成图像的内容、风格和场景。
  • 高质量图像生成：生成的图像在质量、美学效果和文本对齐方面表现出色。
  • 插件化设计：兼容多种现有方法和工具（如 ControlNets、LoRAs 等），支持更复杂的个性化任务。

InfiniteYou 的技术原理

  • InfuseNet：InfuseNet 是 InfiniteYou 的核心组件，类似于 ControlNet，将身份特征注入扩散模型（如 FLUX）。身份特征基于残差连接注入到扩散模型中，避免直接修改注意力层，减少对基础模型生成能力的负面影响。
  • 预训练阶段：基于真实单人单样本（SPSS）数据进行预训练，学习身份图像的重建能力。
  • 监督微调阶段：基于合成的单人多样本（SPMS）数据进行微调，提升文本与图像对齐、图像质量和美学效果。
  • 扩散变换器（Diffusion Transformers）：用先进的扩散变换器（如 FLUX）作为基础模型，模型在图像生成方面表现出色。扩散变换器支持生成高质量、高分辨率的图像，为身份保持图像生成提供了强大的基础。
  • 插件化设计：InfiniteYou 支持多种现有方法和工具，如 ControlNets、LoRAs 等，提供更大的灵活性和扩展性。用户根据需求选择不同的插件，实现更复杂的个性化任务，如风格化、多概念生成等。

如何运行 InfiniteYou

1. 安装依赖

首先，确保你已经安装了 Python 环境，然后运行以下命令安装依赖：

pip install -r requirements.txt

2. 本地推理脚本

使用以下命令进行本地推理：

python test.py --id_image ./assets/examples/yann-lecun_resize.jpg --prompt "A man, portrait, cinematic" --out_results_dir ./results

参数说明

  • --id_image：输入身份图像的路径。
  • --prompt：生成图像的文本提示。
  • --out_results_dir：输出结果的保存目录。
  • --model_version：选择模型版本，支持 aes_stage2 和 sim_stage1。

3. 本地 Gradio 演示

运行以下命令启动本地 Gradio 演示：

python app.py

资源

❤️ 如果你也关注 AI 的发展现状，且对 AI 应用开发感兴趣，我会每日分享大模型与 AI 领域的开源项目和应用，提供运行实例和实用教程，帮助你快速上手AI技术！

🥦 AI 在线答疑 -> 智能检索历史文章和开源项目 -> 丰富的 AI 工具库 -> 每日更新 -> 尽在微信公众号 -> 搜一搜：蚝油菜花 🥦

avatar
文章
阅读
粉丝