分类

AI Infra

XGrammar 结构化解码缓存剖析:Unlimited 模式并发 Clear 字节记账竞态与代际修复(PR #1011)
拆解 XGrammar GrammarCompiler 的双层缓存架构与 ThreadSafeLRUCache 锁分离实现,定位 Unlimited 模式下 Clear() 字节残留与在途编译(In-flight Computation)跨代污染根因,给出代际号 + 读写锁原子修复与零 sleep 确定性并发 GoogleTest 验证。
1
|
0
XGrammar 结构化解码缓存剖析:Unlimited 模式并发 Clear 字节记账竞态与代际修复(PR #1011)