Unsloth – AI大模型微调加速库

让消费级显卡也能微调 Llama 3、Mistral 等大模型，速度 ×5、显存 – 70%。

核心功能

• 24GB 显存可微调 70B 模型
• 兼容 Hugging Face Transformers，零代码改动
• 支持 LoRA/QLoRA、DPO、预训练

GitHub项目网址：https://github.com/unslothai/unsloth

操作文档：https://unsloth.ai/docs

Unsloth 是一款专为“平民玩家”设计的开源大语言模型（LLM）微调框架。它通过底层的深度优化，让你无需昂贵的专业显卡，仅凭消费级设备（如单张 24GB 显存的 RTX 4090）就能高效微调 Llama 3、Mistral、Qwen 等主流大模型，甚至能跑通 70B 参数的庞然大物。

核心亮点

• 极致性能压榨：训练速度最高提升 2-5 倍，显存占用最高减少 70%。这意味着原本需要专业 A100 显卡才能跑的模型，现在普通显卡也能轻松驾驭。
• 零成本迁移：与 Hugging Face Transformers 库 100% 兼容。你不需要修改任何现有代码逻辑，只需简单替换模型加载方式，即可无缝享受加速效果。
• 全场景覆盖：不仅支持基础的指令微调，还完美支持 LoRA/QLoRA（参数高效微调）、DPO（直接偏好优化）以及全参数预训练，满足从入门到科研的各种需求。

硬件与模型支持

• 硬件门槛极低：通过 4-bit 量化等技术，仅需 4GB 显存即可微调 7B 模型，24GB 显存即可挑战 70B 模型，完美适配 Colab 免费版或家用游戏显卡。
• 模型全家桶：紧跟社区热点，支持 Llama 3.1/3.2、Mistral、Gemma 2、Qwen 2.5、Phi-3 等几乎所有主流 Transformer 架构模型。