LlamaFactory
算力平台:

Lumina-T2X ​

概念

来自 Alpha-VLLM, OpenGVLab, 上海人工智能实验室的 Lumina-Next : 通过 Next-DiT 使 Lumina-T2X 更强大更快。

论文摘要：

Lumina-T2X 是一种基于流的大型扩散变压器（Flag-DiT）的新兴家族，建立了一个统一的框架，用于将噪声转换为各种模态，如图像和视频，条件是文本指令。尽管其具有巨大的潜力，Lumina-T2X 仍然面临训练不稳定、推理速度慢和外推伪影等挑战。在本文中，我们介绍了 Lumina-Next，这是 Lumina-T2X 的改进版本，展示了更强的生成性能和更高的训练和推理效率。我们从对 Flag-DiT 架构的全面分析开始，识别出几个次优组件，并通过引入具有 3D RoPE 和三明治归一化的 Next-DiT 架构来解决这些问题。为了实现更好的分辨率外推，我们彻底比较了应用于带有 3D RoPE 的文本到图像生成的不同上下文外推方法，并提出了针对扩散变压器的频率和时间感知的缩放 RoPE。此外，我们引入了 Sigmoid 时间离散化时间表，以减少求解流 ODE 的采样步骤，以及上下文丢弃方法，以合并冗余的视觉标记，从而有效提高整体采样速度。由于这些改进，Lumina-Next 不仅提高了基本文本到图像生成的质量和效率，还展示了卓越的分辨率外推能力和使用基于解码器的 LLM 作为文本编码器的多语言生成能力，所有这些都在零样本情况下实现。为了进一步验证 Lumina-Next 作为多功能生成框架的能力，我们在包括视觉识别、多视图、音频、音乐和点云生成在内的各种任务中实例化了它，展示了在这些领域的强大性能。通过在 https://github.com/Alpha-VLLM/Lumina-T2X 上发布所有代码和模型权重，我们旨在推动下一代生成 AI 的发展，使其能够进行通用建模。

亮点：Lumina-Next 是下一代扩散变压器，通过引入 Next-DiT 架构、3D RoPE 和频率和时间感知的 RoPE 等改进，显著增强了文本到图像生成、多语言生成和多任务性能。

Lumina-Next 包含以下组件：

  • 通过更少和更快的步骤提高采样效率。
  • 使用具有三明治归一化 3D RoPE 和分组查询注意力的 Next-DiT 作为变压器主干。
  • 使用频率和时间感知的缩放 RoPE。

来自 Alpha-VLLM, OpenGVLab, 上海人工智能实验室的 Lumina-T2X: 通过基于流的大型扩散变压器将文本转换为任何模态、分辨率和持续时间。

论文摘要：

Sora 揭示了扩展扩散变压器以生成任意分辨率、纵横比和持续时间的逼真图像和视频的潜力，但仍然缺乏足够的实现细节。在本技术报告中，我们介绍了 Lumina-T2X 家族——一系列具有零初始化注意力的基于流的大型扩散变压器（Flag-DiT），作为统一框架，旨在将噪声转换为图像、视频、多视图 3D 对象和音频片段，条件是文本指令。通过将潜在时空空间标记化并结合可学习的占位符（如 [nextline] 和 [nextframe] 标记），Lumina-T2X 无缝统一了不同模态在各种时空分辨率下的表示。这种统一方法使不同模态的训练在单一框架内进行，并允许在推理过程中灵活生成任何分辨率、纵横比和长度的多模态数据。RoPE、RMSNorm 和流匹配等高级技术增强了 Flag-DiT 的稳定性、灵活性和可扩展性，使 Lumina-T2X 的模型能够扩展到 70 亿参数，并将上下文窗口扩展到 128K 标记。这特别有利于使用我们的 Lumina-T2I 模型创建超高清图像和使用我们的 Lumina-T2V 模型创建长 720p 视频。值得注意的是，由 50 亿参数的 Flag-DiT 驱动的 Lumina-T2I 仅需 6 亿参数的朴素 DiT 的 35% 的训练计算成本。我们进一步的全面分析强调了 Lumina-T2X 在分辨率外推、高分辨率编辑、生成一致的 3D 视图和合成无缝过渡视频方面的初步能力。我们希望 Lumina-T2X 的开源将进一步促进生成 AI 社区的创造力、透明度和多样性。

你可以在 Alpha-VLLM 上找到原始代码库，并在 Alpha-VLLM Lumina Family 上找到所有可用的检查点。

亮点：Lumina-T2X 支持任何模态、分辨率和持续时间。

Lumina-T2X 包含以下组件：

  • 使用基于流的大型扩散变压器作为主干。
  • 通过一个主干和相应的编码器、解码器支持不同的模态。

此管道由 PommesPeter 贡献。原始代码库可以在 这里 找到。原始权重可以在 hf.co/Alpha-VLLM 下找到。

推理（文本到图像） ​

使用 torch.compile 减少推理延迟。

首先，加载管道：

python
from diffusers import LuminaText2ImgPipeline
import torch

pipeline = LuminaText2ImgPipeline.from_pretrained(
	"Alpha-VLLM/Lumina-Next-SFT-diffusers", torch_dtype=torch.bfloat16
).to("cuda")

然后将 transformer 和 vae 组件的内存布局更改为 torch.channels-last：

python
pipeline.transformer.to(memory_format=torch.channels_last)
pipeline.vae.to(memory_format=torch.channels_last)

最后，编译组件并运行推理：

python
pipeline.transformer = torch.compile(pipeline.transformer, mode="max-autotune", fullgraph=True)
pipeline.vae.decode = torch.compile(pipeline.vae.decode, mode="max-autotune", fullgraph=True)

image = pipeline(prompt="Upper body of a young woman in a Victorian-era outfit with brass goggles and leather straps. Background shows an industrial revolution cityscape with smoky skies and tall, metal structures").images[0]

LuminaText2ImgPipeline ​

[[autodoc]] LuminaText2ImgPipeline - all - call

Copyright © 2024-2025 llamafactory.cn