dela
3a322aa8dc
Add the ledger schema, class router, lint codes, ingest/build pipeline, and three work-tree examples: align derivation, superfig delegation, and supertensor delegation.
19 lines
576 B
TeX
19 lines
576 B
TeX
\section{一次前向与损失}
|
||
内积的方差会随维数 $d$ 涨。为了不让后续非线性饱和，要把点积除掉 $\sqrt{d}$。
|
||
|
||
\begin{align}
|
||
u^\top v &\longrightarrow \frac{u^\top v}{\sqrt{d}}.
|
||
\end{align}
|
||
|
||
\begin{itemize}
|
||
\item $u,v$ — 两个 $d$ 维向量
|
||
\item $d$ — 特征维（shape parameter）
|
||
\end{itemize}
|
||
|
||
\begin{importantbox}{主路与损失}
|
||
损失比较 $\hat y$ 与 $y$，梯度再回到 $\theta$。不要把 $L$ 画成前向的一站。
|
||
\end{importantbox}
|
||
|
||
\subsection{本章小结}
|
||
前向只负责预测；缩放是改写，不是新算子。
|