交互工具
把文章里的概念做成能动手的小工具。拖一拖、点一点,比读十遍都管用。每个工具都配着一篇文章——玩完想懂原理,点回去看。
- 探针1 配套
temperature 旋钮演示 →
拖 temperature / top-k / top-p 三旋钮,看候选字概率分布实时变,亲手抽签感受「每次不一样」。纯前端 softmax 模拟。
- 探针2 配套
Token 分词演示 →
输入文本看 GPT-4 vs GPT-4o 怎么切,为什么中文比英文贵、一个 emoji 烧几个 token。
- 探针5 配套
上下文窗口 · N² →
往窗口里加消息,看最旧的怎么被 FIFO 挤掉;再拖 N 看注意力计算量 N² 怎么平方爆炸——序列翻 10 倍,计算量翻 100 倍。
- 探针6 配套
图像 · patch 切块 →
上传一张图,调 patch 大小,看它被切成几行几列、占多少 token——一张随手发的图,几百 token 轻轻松松。
- 探针10 配套
MoE 路由 · 稀疏激活 →
256 个专家网格,选 token 类型,看路由器只点亮 top-8 + 1 共享(3.5%),其余 96.5% 纹丝不动。
- 总成12 配套
Attention 三步可视化 →
点一个词,看它的注意力 Q·K 点积 → softmax 权重 → 加权求和 V 三步怎么走——「苹果」怎么被上下文钉成水果。
生活工具
不是文章配套,纯粹自己用得上的小算盘。