大模型模型剪枝教程_大模型量化与剪枝的区别：

本文目录一览：

• 1、轻量化大模型训练过程
• 2、模型剪枝,不可忽视的推断效率提升方法
• 3、Prunevid:视频多模态大模型里面的视觉Token剪枝

轻量化大模型训练过程

轻量化大模型训练过程主要分为选择基线模型、模型蒸馏、模型剪枝（可选）、模型量化四个步骤，具体内容如下：选择基线模型先训练一个效果较好的大模型（教师模型）作为后续压缩的起点。可根据任务需求选择Transformer或LSTM模型。Transformer模型：适合大数据、短依赖的任务，例如一周内规律的挖掘。

蒸馏，则如同老员工带新人，旨在将大模型的经验迁移到小模型，实现轻量化部署。

在预训练&微调阶段，MobileVLM V2冻结了Visual Encoder，然后全量微调LLM和Projector。这种训练策略有助于模型在轻量化的同时保持较好的效果。训练数据：MobileVLM V2的训练任务多种多样，分别用于增强模型的对应能力。

综上所述，算法层压缩加速是深度学习模型轻量化的重要手段之一。

Deepseek-R1的训练步骤：结合微调与强化学习）轻量化模型：目标：降低部署门槛，支持个人电脑运行。

模型剪枝,不可忽视的推断效率提升方法

剪枝通过移除神经网络中冗余的连接或神经元，模拟生物神经系统的优化过程，实现模型稀疏化。

局限：可能引入量化误差，导致模型精度下降；某些复杂的量化方法需要额外的训练过程，增加了开发成本。剪枝剪枝原理：通过去除模型中不重要的参数或神经元，减少模型的参数量和计算量。不重要的参数通常指对模型输出影响较小的权重，可通过计算权重的绝对值、梯度等指标来评估其重要性。

后训练专家剪枝（Post-training Expert Pruning）目标：减少MoE模型参数数量，尤其是降低不重要专家数量，提升推理效率。与基于权重剪枝需硬件设计支持不同，后训练专家剪枝无需硬件支持，部署可行性更佳。

Prunevid:视频多模态大模型里面的视觉Token剪枝

PruneVid是一种针对视频多模态大模型的视觉Token剪枝方法，旨在减少视觉Token数量和计算量，提高模型处理效率，主要基于视频帧间及帧内冗余、与问题文本Token相关性两个准则进行剪枝。具体如下：基于视频帧间及帧内的Token冗余的剪枝视频分段将$T$帧视频分为$B$个Segment。

创新点与意义：DART方案从一个新的角度对视觉Token进行剪枝，即关注Token之间的冗余性而非传统的“重要性”评分。这种方案有助于减少多模态大模型中的计算量，提高模型的运行效率，同时保持或提升模型的性能。DART方案的提出为多模态大模型的优化提供了新的思路和方法。