从零实现 Transformer：用 NumPy 理解注意力、梯度与训练
深入实践 - 使用纯 NumPy 从零实现 Transformer、BPE 分词器和训练流程，理解大语言模型的每一个细节
1
|
0
分类
技术
从 PyTorch 到 CUDA Kernel：融合 RMSNorm 在 RTX 4090D 上加速 4.27 倍
从零实现 PyTorch CUDA 扩展，拆解 RMSNorm 的访存瓶颈、warp 归约、向量化加载、算子融合与冷热缓存 benchmark。
18
|
0
LLM 技术路线：从 Transformer 到训练、推理与应用
一份系统化 LLM 学习路线，覆盖 Transformer、预训练、SFT、RLHF、RAG、Agent、推理优化、评测和工程项目。
7
|
0
AI Infra 工程路线：从后端基础到 Agent 平台
一份面向工程同学的 AI Infra 学习路线，覆盖后端基础、RAG、Agent Runtime、模型服务、评测观测、稳定性工程和项目落地。
9
|
0
Kafka 入门：生产者、Broker、消费者和“消费”到底是什么意思
用推荐系统里的用户行为日志为例，讲清楚 Kafka 的作用、Producer、Broker、Consumer、Topic、Partition、Offset 和消费语义。
6
|
0
Claude Code 上下文管理：请求前减负、Auto Compact 与应急恢复
基于源码区分请求前优化、高水位压缩和 API 报错恢复，厘清 Microcompact、Full Compact 与 Auto Compact 的关系。
7
|
0