\section{一次前向与损失}
内积的方差会随维数 $d$ 涨。为了不让后续非线性饱和，要把点积除掉 $\sqrt{d}$。

\begin{align}
u^\top v &\longrightarrow \frac{u^\top v}{\sqrt{d}}.
\end{align}

\begin{itemize}
\item $u,v$ — 两个 $d$ 维向量
\item $d$ — 特征维（shape parameter）
\end{itemize}

\begin{importantbox}{主路与损失}
损失比较 $\hat y$ 与 $y$，梯度再回到 $\theta$。不要把 $L$ 画成前向的一站。
\end{importantbox}

\subsection{本章小结}
前向只负责预测；缩放是改写，不是新算子。