Transformer on Techunder

Transformer on Techunder https://techunder.tech/docs/transformer/ Recent content in Transformer on Techunder Hugo zh-CN 自注意力机制 https://techunder.tech/docs/transformer/1-self-attention/ Mon, 01 Jan 0001 00:00:00 +0000 https://techunder.tech/docs/transformer/1-self-attention/  <div class="page-title">自注意力机制</div> <div class="page-info"> <span class="original-tag">原创</span> 发布时间：2026-04-08 | 更新时间：2026-04-08 </div> <p>自注意力机制（Self-Attention Mechanism）是 Transformer 模型的核心机制。</p> <p>下文是按推理（生成）的过程来描述的。</p> <h1 id="整体流程">整体流程<a class="anchor" href="#%e6%95%b4%e4%bd%93%e6%b5%81%e7%a8%8b">#</a></h1> <ol> <li>输入一句话 → 切成 token（词元）</li> <li>每个 token 变成 embedding 向量 → 得到一组 embedding 向量列表</li> <li>每个 embedding 向量都分别被映射成 Q、K、V 三个向量</li> <li>预测下一个字时，拿最后一个字的 Q，去跟前面所有字的 K 算相关性，相关性 = 权重</li> <li>用权重对前面所有 token 的 V 加权融合 → 得到单头注意力 output</li> <li>拼接多个单头注意力的 output → 映射回 embedding 向量列表</li> <li>最后输出映射：$d_{model}$ → $d_{vocab}$ → softmax → token 概率</li> </ol> <h1 id="token-映射">Token 映射<a class="anchor" href="#token-%e6%98%a0%e5%b0%84">#</a></h1> <p>假设我们有 3 个 token：「我」、「爱」、「你」。</p>