% teach: % gap: 把 $K^\top$ 当成记号上的装饰,不当成一次真实的换面 % takeaway: 打分沿 $d_h$ 收缩,收缩边必须等长 % jump: fixture 只写 $QK^\top$,没说明转置是物理换面而非书写约定 % omit: 多头拼接与输出投影 \section{主张与贡献} \splabel{C1} 打分是 $(T\times d_h)(d_h\times T)\to(T\times T)$。$K^\top$ 必须物理换面,收缩边等长。 先用中文说完,再写式子: \[ S^{(i)}=Q^{(i)}K^{(i)\top}. \] \begin{itemize} \item $Q^{(i)}$ — 第 $i$ 头 query,$T\times d_h$ \item $K^{(i)\top}$ — 转置后的 key,$d_h\times T$ \item $S^{(i)}$ — 分数,不是 mask \end{itemize} \spfig{F2}{每头打分沿 $d_h$ 收缩。}{重绘自 fixture;toolkit: \texttt{supertensor};ledger id: F2。} \subsection{本章小结} 轴长是这张图的主张,所以走 supertensor,不走 superfig。