读论文笔记：注意力机制中的时间建模

动机

把 Transformer 直接搬到时间序列上往往会遇到两个问题：一是序列长度带来的平方复杂度，二是时间维度上缺乏归纳偏置。本文整理几篇相关工作，记录它们在位置编码与稀疏注意力上的不同选择。

绝对位置 vs 相对位置

绝对位置编码把每个时间步映射为一个可学习向量，简单但外推性差；相对位置编码（如 T5 / ALiBi）显式建模距离，对长序列更友好。

ALiBi 的核心是在注意力分数上加上一个与距离线性相关的偏置：

$$\text{score}(q_i, k_j) = \frac{q_i^\top k_j}{\sqrt{d}} - m \cdot (i - j)$$

其中 $m$ 为每个注意力头分配的斜坡系数。这种偏置不依赖可学习的位置嵌入，因此天然支持长度外推。

稀疏注意力的时间取舍

对于电力负荷这类强周期信号，全局注意力并非必要。若干工作采用块状稀疏或局部窗口 + 全局 token 的结构，在保留长周期依赖的同时把复杂度降到近线性。

经验法则：先确认信号的主导周期尺度，再决定窗口大小，而不是盲目堆层数。

小结

• 相对位置编码在长序列上更稳；
• 稀疏结构要匹配信号周期；
• 评估时务必看外推（滚动预测）表现，而非仅看样本内拟合。