新芽专题介绍:多模态大模型的个性化与推理加速 2026-08-10 2026-08-10 AI 多模态大模型 / 个性化(训练侧) / 推理加速 / 参数高效微调 / 模型量化 / 视觉Token剪枝 / 新芽专题 面向新芽学子的专题导览:梳理多模态大模型在个性化(训练侧)与推理加速(推理侧)两条主线上的核心思想、代表方法、主要挑战,并给出带链接的 66 篇文献地图与分阶段学习路径。 9 | 0
LaVIN 精读:用 3.8M 参数适配视觉语言指令 2026-07-31 2026-07-31 AI 多模态大模型 / 个性化(训练侧) / 参数高效微调 / Adapter / 动态路由 / 视觉指令微调 / LaVIN / NeurIPS 拆解 NeurIPS 2023 的 LaVIN 如何用 Mixture-of-Modality Adapter 和混合模态训练,以 3.8M 可训练参数适配文本与图文指令,属于个性化(训练侧)方向。 11 | 0
VideoLISA 精读:多模态模型的训练侧视频分割适配 2026-07-27 2026-07-27 AI 多模态大模型 / 个性化(训练侧) / 参数高效微调 / Reasoning Segmentation / 视频分割 / VideoLISA / NeurIPS 从 LoRA 适配、稀疏-稠密视频采样与 One-Token-Seg-All 训练出发,拆解 NeurIPS 2024 的 VideoLISA 如何把多模态大模型迁移到视频推理分割,属于个性化(训练侧)方向。 17 | 0
QLoRA 精读:4-bit 量化如何把 65B 微调压进单卡 2026-07-18 2026-07-22 AI LLM / QLoRA / LoRA / 模型量化 / 参数高效微调 / NeurIPS 从 NF4、双重量化、Paged Optimizer 与全层 LoRA 出发,拆解 QLoRA 的显存账本、训练流程、实验边界和复现要点。 2 | 0