XGrammar 结构化解码缓存剖析:Unlimited 模式并发 Clear 字节记账竞态与代际修复(PR #1011)
拆解 XGrammar GrammarCompiler 的双层缓存架构与 ThreadSafeLRUCache 锁分离实现,定位 Unlimited 模式下 Clear() 字节残留与在途编译(In-flight Computation)跨代污染根因,给出代际号 + 读写锁原子修复与零 sleep 确定性并发 GoogleTest 验证。
1
|
0
XGrammar 结构化解码缓存剖析:Unlimited 模式并发 Clear 字节记账竞态与代际修复(PR #1011)
多约束生产级 Agent 系统实践:两阶段工具路由、DAG 局部重规划与轨迹级评测闭环
2026-10-20
AI
围绕跨境酒旅等强耦合多约束业务场景,拆解向量 Top-K 召回 + LLM 精排 + 跨语言实体链接与 Schema 门控(96%+ 调用合法率)、基于状态机的 DAG 局部子图重规划、Observation 冗余裁剪(节省 40% Token),以及从线上失败恢复轨迹构造 SFT/DPO 偏好对的评测与训练闭环。
1
|
0
多约束生产级 Agent 系统实践:两阶段工具路由、DAG 局部重规划与轨迹级评测闭环
多视角推理蒸馏(LLM-MRD)与可审计生成式评审系统(DeepReviewer 2.0)深度拆解
对比大模型落地的两条互补路径:如何用 Qwen2.5-VL 离线多视角分析结合 MLP 残差校准与温度缩放 KL 蒸馏,将推理能力压入 358M 学生模型实现 17.2 ms 独立推理(LLM-MRD,DASFAA 2026 Oral);以及如何通过主张-证据-风险台账、PASA 可比性门控与导出预算校验构建可审计的同行评审 Agent(DeepReviewer 2.0)。
0
|
0
多视角推理蒸馏(LLM-MRD)与可审计生成式评审系统(DeepReviewer 2.0)深度拆解