xFormers

我们推荐使用 xFormers 进行推理和训练。在我们的测试中，注意力块中的优化可以实现更快的速度和更低的内存消耗。

从 pip 安装 xFormers：

pip install xformers

pip install xformers

xFormers 的 pip 包需要最新版本的 PyTorch。如果你需要使用旧版本的 PyTorch，我们建议你从源代码安装 xFormers。

安装 xFormers 后，你可以使用 enable_xformers_memory_efficient_attention() 来实现更快的推理和更低的内存消耗，如本部分所示。