Learning Notes
Things I worked through while learning, written down carefully enough to reread.
Math Foundations for ML
Part I Probability & Statistics
Expectation and Variance
Definitions, four rules with proofs, and why scaled dot-product attention divides by √dk.
Note 1 · Oct 18, 2026
Part II Linear Algebra
Coming soon.
Part III Mathematical Analysis
Coming soon.
ML Fundamentals
Part I Loss Functions
Coming soon.
Part II Activation Functions
Coming soon.
Part III Optimization
Coming soon.
Part IV Normalization
Coming soon.
Part V Regularization
Coming soon.
Model Architectures
Part I Transformer
Attention Masks in the Transformer
Why the source mask is (batch, 1, 1, m) and the decoder mask is (batch, 1, n, n), and where padding goes in cross-attention and the loss.
Note 1 · Oct 18, 2026
学习笔记
学习过程中想清楚的东西，写得足够细，方便以后回来重读。
机器学习中的数学基础
第一部分 概率论与统计
期望与方差
定义、四条规则及其证明，以及 scaled dot-product attention 为什么要除以 √dk。
第 1 篇 · 2026 年 10 月 18 日
第二部分 线性代数
即将更新。
第三部分 数学分析
即将更新。
机器学习基础
第一部分 损失函数
即将更新。
第二部分 激活函数
即将更新。
第三部分 优化
即将更新。
第四部分 归一化
即将更新。
第五部分 正则化
即将更新。
模型架构
第一部分 Transformer
Transformer 中的 Attention Mask
为什么源句 mask 是 (batch, 1, 1, m)、解码器 mask 是 (batch, 1, n, n)，以及 padding 在 cross-attention 和 loss 中如何处理。
第 1 篇 · 2026 年 10 月 18 日