dela
3a322aa8dc
Add the ledger schema, class router, lint codes, ingest/build pipeline, and three work-tree examples: align derivation, superfig delegation, and supertensor delegation.
21 lines
614 B
TeX
21 lines
614 B
TeX
\section{主张与贡献}
|
||
\splabel{C1}
|
||
打分是 $(T\times d_h)(d_h\times T)\to(T\times T)$。$K^\top$ 必须物理换面，收缩边等长。
|
||
|
||
先用中文说完，再写式子：
|
||
|
||
\[
|
||
S^{(i)}=Q^{(i)}K^{(i)\top}.
|
||
\]
|
||
|
||
\begin{itemize}
|
||
\item $Q^{(i)}$ — 第 $i$ 头 query，$T\times d_h$
|
||
\item $K^{(i)\top}$ — 转置后的 key，$d_h\times T$
|
||
\item $S^{(i)}$ — 分数，不是 mask
|
||
\end{itemize}
|
||
|
||
\spfig{F2}{每头打分沿 $d_h$ 收缩。}{重绘自 fixture；toolkit: \texttt{supertensor}；ledger id: F2。}
|
||
|
||
\subsection{本章小结}
|
||
轴长是这张图的主张，所以走 supertensor，不走 superfig。
|