多约束生产级 Agent 系统实践:两阶段工具路由、DAG 局部重规划与轨迹级评测闭环 2026-10-20 2026-10-23 AI Agent / LLM / 工具调用 / 上下文工程 / DPO / 强化学习 围绕跨境酒旅等强耦合多约束业务场景,拆解向量 Top-K 召回 + LLM 精排 + 跨语言实体链接与 Schema 门控(96%+ 调用合法率)、基于状态机的 DAG 局部子图重规划、Observation 冗余裁剪(节省 40% Token),以及从线上失败恢复轨迹构造 SFT/DPO 偏好对的评测与训练闭环。 1 | 0
多视角推理蒸馏(LLM-MRD)与可审计生成式评审系统(DeepReviewer 2.0)深度拆解 2026-10-16 2026-10-23 AI 知识蒸馏 / 多模态 / Qwen2.5-VL / Agent / Post-training / 论文解读 对比大模型落地的两条互补路径:如何用 Qwen2.5-VL 离线多视角分析结合 MLP 残差校准与温度缩放 KL 蒸馏,将推理能力压入 358M 学生模型实现 17.2 ms 独立推理(LLM-MRD,DASFAA 2026 Oral);以及如何通过主张-证据-风险台账、PASA 可比性门控与导出预算校验构建可审计的同行评审 Agent(DeepReviewer 2.0)。 0 | 0
从 Actor、Critic 到 PPO Loss:用 GSM8K 理解语言模型强化学习 2026-10-07 2026-10-07 AI LLM / PPO / 强化学习 / GSM8K / verl / 模型后训练 从 GSM8K 和 verl 实验出发,理解 PPO 中的 Actor、Critic、奖励对齐、GAE、概率比与反向传播。 3 | 0
在 M2 Pro 上完成 Qwen3 两阶段训练:Mid Train、SFT 与可复核评估 2026-09-30 2026-09-30 AI LLM / Qwen3 / MLX / LoRA / 持续预训练 / SFT / Apple Silicon 用 Qwen3 0.6B Base 和 MLX 完成领域持续训练与监督微调,记录数据划分、聊天模板、损失掩码、数值稳定性修复和独立测试结果。 5 | 0
大模型面试手写清单:展开公式、PyTorch 代码与易错点 2026-09-30 2026-09-30 AI LLM / PyTorch / Transformer / LoRA / RLHF / GRPO / 面试 从 Attention、RoPE 和 SFT 到 LoRA、PPO、DPO、GRPO,逐步展开公式并给出可运行的 PyTorch 实现,补充 KV Cache、采样和训练循环的边界情况。 5 | 0
大模型面试手写题:核心公式与 PyTorch 实现 2026-09-30 2026-10-23 AI LLM / Transformer / PyTorch / 模型后训练 / 面试 按 Transformer、SFT、参数高效微调、后训练与推理五条线,展开大模型面试常见公式,并给出对应的 PyTorch 手写实现。 1 | 0
从 Mac 到单卡 GPU:Qwen2.5-VL 部署、GRPO 与计数 LoRA 实践 2026-08-19 2026-10-23 AI Qwen2.5-VL / 多模态 / SGLang / verl / GRPO / 推理优化 / MLX 在 M2 Pro 和云端单卡上部署 Qwen2.5-VL-3B,实测连续批处理、前缀缓存与 SGLang 参数调优,再用 verl 完成多模态 GRPO 更新和同条件前后评测,记录有效优化、兼容性问题与未观察到提升的结果。 6 | 0
新芽专题介绍:多模态大模型的个性化与推理加速 2026-08-10 2026-08-10 AI 多模态大模型 / 个性化(训练侧) / 推理加速 / 参数高效微调 / 模型量化 / 视觉Token剪枝 / 新芽专题 面向新芽学子的专题导览:梳理多模态大模型在个性化(训练侧)与推理加速(推理侧)两条主线上的核心思想、代表方法、主要挑战,并给出带链接的 66 篇文献地图与分阶段学习路径。 12 | 0
从 DeepReviewer 2.0 到 CycleResearcher:科研 Agent 如何真正做 Post-training 2026-08-07 2026-08-07 AI LLM / Post-training / Agent / SimPO / Reward Model / ICLR 区分推理时 Agent 编排与模型后训练,并拆解 CycleResearcher 的领域 SFT、生成式 Reward Model、Iterative SimPO 和评测风险。 22 | 0
VisionLLM 精读:训练侧如何用语言指令定制检测与分割 2026-08-06 2026-08-07 AI 多模态大模型 / 个性化 / 训练侧适配 / LoRA / 视觉指令微调 / 目标检测 / 实例分割 / NeurIPS 拆解 NeurIPS 2023 VisionLLM 如何用 LoRA、语言引导图像 Tokenizer 与输出格式查询,把多模态大模型训练侧适配到检测、分割、视觉定位等可定制任务。 13 | 0