06 / ENGINEERING NOTES

技术札记

关于 AI、工程系统与组织进化的长期记录。

从随机权重到本地推理:我如何从零训练一个 Transformer

在一台 16GB MacBook Air 上,用 MLX 从头实现 Decoder-only Transformer,并经历 Byte Tokenizer、BPE、Unicode、安全推理和独立评测的三代实验。