为什么LLM模型普遍选择6/7/8/9B、13B和130B这些规模?
近年来,随着自然语言处理(NLP)技术的飞速发展,语言模型(LLM)的规模不断扩大。我们经常听到6B、7B、13B和130B等不同规模的模型,但这些模型大小的选择并非随意,而是深思熟虑后的结果。这些模型大小主要是为了匹配显存和硬件的限制,使得训练和部署更加高效。本文将详细探讨为什么LLM的大小通常设计成这几个档次,并介绍计算显存占用的一些基本方法。
一、模型大小与显存匹配
1.1 6B和7B模型
6B和7B模型的规模是为了适应消费级显卡的显存限制。通常,消费级显卡的显存容量为12GB、16GB或24GB。这些显卡广泛用于个人计算机、科研机构和中小型企业中。6B和7B模型在这些显卡上可以顺利部署和训练。
1.2 13B模型
13B模型的规模设计是为了最大化利用4卡8卡机器的显存和计算资源。以4096长度的输入数据为例,13B模型可以通过数据并行和量化技术部署在A10甚至4090显卡上。13B模型在8卡的机器上可以占满整个系统资源,实现高效的计算和推理。
1.3 超大规模模型
除了常见的6B、7B和13B模型外,行业内还有一些更大规模的模型,如16B、34B、52B、56B、65B、70B、100B、130B、170B和220B。这些模型的规模是根据训练和推理所需的算力设计的,通常用于大型数据中心和超级计算机。对于这些超大规模模型,训练速度的提升可以通过倍增显卡数量来实现。例如,7B模型以8卡为单位进行训练,而70B模型则可以以80卡为单位进行训练。
二、计算显存占用的方法
在选择模型规模时,计算显存占用是一个关键问题。不同的训练框架(如DeepSpeed和Megatron)对显存的占用不同。以下是一个基于Megatron框架的显存占用计算方法。
2.1 Megatron框架的显存占用
Megatron框架的模型和优化器存储系数为18,即模型参数量乘以18等于显存占用。对于13B的模型,其显存占用为13B x 18 = 234GB。这个系数18的来源是:
- 2 (半精度模型参数)
- 4 (单精度梯度)
- 4 (单精度模型参数副本)
- 4 (单精度一阶动量)
- 4 (单精度二阶动量)
2.2 Pipeline并行和Zero并行
在使用Pipeline并行时,模型和优化器的显存占用可以平分到每张显卡上。以13B模型和4096序列长度为例,模型和优化器的显存占用在Megatron框架下是13B x 18 = 234GB。这需要至少4张80GB的显卡才能装下。
在正向传播中间变量的显存占用上,可以用40 x SHL来近似计算,即40 x 4096 (序列长度) x 5120 (隐层维度) x 40 (模型层数) = 34GB。
Zero并行
在Zero并行时,半精度模型参数和单精度梯度每张卡都有,而单精度模型参数副本、一阶动量和二阶动量则平分到每张卡上。因此,显存占用的系数中只有后面的12可以除以Zero并行数,前面的6不能。
假设使用13B模型和4096序列长度,在Megatron框架下,模型和优化器显存占用为234GB。这至少需要4张80GB的显卡来装下。
2.3 进一步优化显存利用
在使用Pipeline并行时,显存占用系数为18除以Pipeline并行数,正向传播的中间变量也平均分配到每张显卡上。因此,可以列出公式:
$$ (13 \times \frac{18}{\text{Pipeline并行数}} + \frac{34}{\text{Pipeline并行数}}) < 80 $$
得到Pipeline并行数至少为4,即需要4张显卡。这时,每张显卡的显存占用为67GB,其中模型和优化器占58.5GB,正向传播占8.5GB。
然而,由于Pipeline并行中的显卡空泡问题,实际显存占用会更高。解决方案是增大显卡数量,例如使用8张显卡,其中每4张显卡组成一个Pipeline并行组,两组之间使用Zero并行。
Tensor并行
除了Pipeline并行,还可以使用Tensor并行(TP)。但TP有两点问题:一是在Transformer结构下,每两次矩阵乘法需要进行一次TP间通信,通信量较大;二是Norm层的参数在每个TP上都必须是完整的,不能切分,会导致部分显存浪费。
尽管如此,TP在模型更大时依然有优势,特别是在单层无法装下的情况下。此外,TP不存在Pipeline并行中的显存不均衡问题,可以将TP开到适合的数量以优化显存利用。
三、总结
LLM模型的规模设计成6B、7B、13B和130B等档次,主要是为了匹配显存和硬件限制,优化训练和推理效率。通过合理选择模型规模和并行策略,可以最大化利用现有硬件资源,提高计算效率。未来,随着硬件技术的不断进步,LLM模型的规模和计算方法也将不断演进,进一步推动NLP技术的发展。
1 条评论
陈斧惟:文章真不错http://bmrf.1ut9wd.cn