从 Mac 到单卡 GPU：Qwen2.5-VL 部署、GRPO 与计数 LoRA 实践
在 M2 Pro 和云端单卡上部署 Qwen2.5-VL-3B，实测连续批处理、前缀缓存与 SGLang 参数调优，再用 verl 完成多模态 GRPO 更新和同条件前后评测，记录有效优化、兼容性问题与未观察到提升的结果。
6
|
0
标签
推理优化
LLM 技术路线：从 Transformer 到训练、推理与应用
一份系统化 LLM 学习路线，覆盖 Transformer、预训练、SFT、RLHF、RAG、Agent、推理优化、评测和工程项目。
7
|
0
从零实现 LLM 推理引擎：深挖 vLLM 的六大核心优化
通过可测试的 Python 实现，讲清 Paged KV Cache、Continuous Batching、Chunked Prefill 等六项推理优化。
3
|
0