Knowledge Notes

知识笔记

把零散理解整理成能够重新讲清楚、能够回到项目中使用的知识。

已整理内容

从两层神经网络的具体数值出发，推导链式法则、矩阵梯度、Softmax 交叉熵与 PyTorch 自动微分。

从 Token 输入、Q/K/V、多头注意力到 Transformer Block 与 KV Cache，系统追踪矩阵运算和维度变化。

从顺序、可变性、去重和键值映射出发，建立列表、元组、集合和字典的选择逻辑。

从 Dataset、DataLoader 到 Model、Loss 与 Optimizer，追踪一次训练迭代的输入、输出和参数更新。

用‘我喜欢你’三个位置，区分横向传递的隐藏状态与纵向用于计算损失的预测。

把提示词放回真实应用流程，区分消息组织、模型调用、结构化解析和结果校验。