VisionLLM 精读:训练侧如何用语言指令定制检测与分割 2026-08-06 2026-08-07 AI 多模态大模型 / 个性化 / 训练侧适配 / LoRA / 视觉指令微调 / 目标检测 / 实例分割 / NeurIPS 拆解 NeurIPS 2023 VisionLLM 如何用 LoRA、语言引导图像 Tokenizer 与输出格式查询,把多模态大模型训练侧适配到检测、分割、视觉定位等可定制任务。 8 | 0
RePIC 精读:用可验证奖励训练个性化多模态模型 2026-08-04 2026-08-04 AI 多模态大模型 / 个性化(训练侧) / 强化学习后训练 / GRPO / LoRA / 个性化图像描述 / RePIC / NeurIPS 拆解 NeurIPS 2025 的 RePIC:以 GRPO、对象一致性、视觉定位和身份一致性奖励,用 2K 样本后训练 Qwen2.5-VL,提升多主体个性化图像描述,属于个性化(训练侧)方向。 11 | 0
EVE 精读:移除视觉编码器能加速多模态推理吗 2026-08-03 2026-08-03 AI 多模态大模型 / 推理加速(推理侧) / 视觉编码器 / 视觉语言模型 / Decoder-only / 推理延迟 / EVE / NeurIPS 拆解 NeurIPS 2024 Spotlight 论文 EVE:用无视觉编码器的 decoder-only 架构降低多模态视觉前处理开销,并核对其速度、精度、训练稳定性与端到端延迟边界,属于推理加速(推理侧)方向。 7 | 0
LaVIN 精读:用 3.8M 参数适配视觉语言指令 2026-07-31 2026-07-31 AI 多模态大模型 / 个性化(训练侧) / 参数高效微调 / Adapter / 动态路由 / 视觉指令微调 / LaVIN / NeurIPS 拆解 NeurIPS 2023 的 LaVIN 如何用 Mixture-of-Modality Adapter 和混合模态训练,以 3.8M 可训练参数适配文本与图文指令,属于个性化(训练侧)方向。 11 | 0
VideoLISA 精读:多模态模型的训练侧视频分割适配 2026-07-27 2026-07-27 AI 多模态大模型 / 个性化(训练侧) / 参数高效微调 / Reasoning Segmentation / 视频分割 / VideoLISA / NeurIPS 从 LoRA 适配、稀疏-稠密视频采样与 One-Token-Seg-All 训练出发,拆解 NeurIPS 2024 的 VideoLISA 如何把多模态大模型迁移到视频推理分割,属于个性化(训练侧)方向。 17 | 0
InstructBLIP 精读:让视觉特征听懂任务指令 2026-07-23 2026-07-23 AI 多模态大模型 / 个性化 / 训练侧适配 / 指令微调 / Q-Former / Zero-shot / NeurIPS 从指令感知 Q-Former、26 个数据集的指令微调与零样本评测出发,拆解 NeurIPS 2023 的 InstructBLIP 如何适配多种视觉语言任务。 12 | 0
DeeR-VLA 精读:用动态早退加速多模态机器人推理 2026-07-22 2026-07-22 AI 多模态大模型 / 推理加速 / 动态早退 / VLA / 机器人学习 / NeurIPS 从多出口 MLLM、动作一致性判据与预算约束出发,拆解 NeurIPS 2024 的 DeeR-VLA 如何动态跳过 LLM 层,实现多模态机器人推理加速。 17 | 0
Yo'LLaVA 精读:用 16 个软 Token 记住你的专属视觉概念 2026-07-21 2026-07-22 AI 多模态大模型 / 个性化 / 视觉概念 / 软提示 / YoLLaVA / NeurIPS 从可学习身份 Token、视觉属性软提示与难负样本出发,拆解 NeurIPS 2024 的 Yo'LLaVA 如何用 5 张图完成多模态大模型个性化。 13 | 0
FlashAttention-3 精读:用异步流水与 FP8 加速 Hopper Attention 2026-07-21 2026-07-22 AI AI Systems / FlashAttention / GPU Kernel / Hopper / FP8 / NeurIPS 从 Hopper 的 TMA、WGMMA 和 FP8 出发,拆解 FlashAttention-3 如何用 warp specialization、GEMM-Softmax 流水与低误差量化提升精确注意力吞吐。 9 | 0
DPO 精读:不用 PPO,如何直接从偏好数据对齐语言模型 2026-07-19 2026-07-22 AI LLM / DPO / RLHF / 偏好对齐 / 模型后训练 / NeurIPS 从 KL 约束的 RLHF 目标出发,推导 DPO 的闭式策略映射、偏好损失、训练流程、实验边界与复现要点。 5 | 0