\section{主张与贡献} \splabel{C1} 打分是 $(T\times d_h)(d_h\times T)\to(T\times T)$。$K^\top$ 必须物理换面,收缩边等长。 先用中文说完,再写式子: \[ S^{(i)}=Q^{(i)}K^{(i)\top}. \] \begin{itemize} \item $Q^{(i)}$ — 第 $i$ 头 query,$T\times d_h$ \item $K^{(i)\top}$ — 转置后的 key,$d_h\times T$ \item $S^{(i)}$ — 分数,不是 mask \end{itemize} \spfig{F2}{每头打分沿 $d_h$ 收缩。}{重绘自 fixture;toolkit: \texttt{supertensor};ledger id: F2。} \subsection{本章小结} 轴长是这张图的主张,所以走 supertensor,不走 superfig。