大模型显存计算器

支持的模型数量: 127 | 最后更新日期: 2024-08-26

搜索模型...

LoRA微调百分比:

%

请选择模型

参数解释

Total (GB):模型所有参数占用的显存总量。
Inference (GB):模型在进行推理时所需的显存大小。
Training (GB):使用Adam优化器进行全参数微调时所需的显存大小。
LoRA (GB):一种参数高效的微调方法，只更新部分参数。
Parameters (B):模型的参数数量

计算公式

Inference:

\text{Memory}_\text{Inference} \approx \text{Model Size} \times 1.2

LoRA:

\text{Memory}_\text{LoRa} \approx \left(\text{Model Size} + \text{ \# trainable Params}_\text{Billions}\times\frac{16}{8} \times 4\right) \times 1.2

参考来源