语言模型词嵌入的几何结构与对称性原理

1. 语言模型表示几何的对称性起源

在自然语言处理领域，研究人员发现词嵌入和大型语言模型的内部表示呈现出令人惊奇的几何结构。当我们将"一月"到"十二月"的词向量投影到二维空间时，它们会精确排列成一个圆环；历史年份的表示则形成一条带有波纹的一维曲线；而地理坐标甚至可以通过简单的线性变换从词向量中解码出来。这些现象背后隐藏着怎样的数学规律？

1.1 从共现统计到几何结构

传统观点认为，词嵌入是通过预测上下文词的任务学习得到的。但更本质地，这些表示实际上编码了词语之间的共现统计特性。给定词汇表V中的任意两个词i和j，我们定义它们的共现概率P_ij为在固定大小窗口内共同出现的频率。研究发现，当这些统计满足某种对称性时，就会诱导出特定的表示几何。

以月份为例，"三月"和"四月"的共现概率P_三月,四月，与"七月"和"八月"的共现概率P_七月,八月非常接近，因为它们的时间间隔相同（都是1个月）。这种仅依赖于时间间隔的统计特性，数学上称为平移对称性：

P_ij = P_iP_j * C(Δt)

其中C(Δt)是随时间间隔Δt衰减的核函数，通常呈指数形式C(Δt)∝exp(-|Δt|/σ)。

1.2 对称性诱导的傅里叶表示

当词嵌入模型（如word2vec）学习具有平移对称性的共现统计时，其表示空间会自发形成傅里叶基。具体来说，在周期边界条件（如月份）下，词向量在第μ个主成分上的投影为：

w_iμ = √(2/|S|) * a_μ * cos(k_μ x_i + φ_μ)

其中：

• |S|是词汇子集大小（如12个月）
• k_μ = πμ是波数
• a_μ = √(2σ/(1+σ²k_μ²))是振幅
• x_i ∈ [-1,1]是词的标准化位置坐标

这种正弦-余弦交替的表示结构，解释了为什么月份会形成完美的圆形排列——它们本质上是二维傅里叶空间中的基函数。

技术细节：在开放边界条件（如历史年份）下，表示会形成带波纹的一维流形。此时特征函数需要满足边界条件，导致波数k_μ由超越方程tan(k_μ) = k_μ/[1+σ(1+σ)k_μ²]决定，产生非均匀的波纹间距。

2. 共现统计的数学建模与分析

2.1 归一化共现矩阵的谱分解

词嵌入学习可以表述为对归一化共现矩阵M*的分解问题。定义：

M*_ij = (P_ij - P_iP_j) / (0.5(P_ij + P_iP_j)) ≈ log(P_ij/(P_iP_j))

这个矩阵捕捉了词对共现相对于随机情况的偏离程度。当词汇子集S的共现统计具有平移对称性时，M*_S成为循环矩阵（周期边界）或托普利兹矩阵（开放边界），其特征分解与傅里叶变换直接相关。

2.1.1 周期边界条件的解析解

对于月份这类周期序列，M*_S的特征向量正是离散傅里叶基。第μ个特征值为：

λ_μ = (2/L) * (1-q²)/(1-2q cos(2πμ/L)+q²)

其中q=exp(-2/(σL))，L是序列长度。对应的词嵌入坐标为：

2.2 连续隐变量模型

实际语言数据中，共现统计可能受到干扰（如某些月份组合从未出现在语料中）。令人惊讶的是，即使在这种扰动下，表示几何仍保持稳定。这可以通过连续隐变量模型解释：

1. 假设存在潜在变量t（如季节），影响多个词的共现
2. 词i在t时刻出现的条件概率为：P(i|t) = P(i)(1+g(t-t_i))
3. 通过边缘化得到联合概率：P(i,j) = ∫P(i|t)P(j|t)dt

该模型表明，当许多词（如"滑雪"、"沙滩"）都与潜在变量相关时，共现矩阵会出现少数主导特征值，使表示几何对局部扰动具有鲁棒性。

3. 几何结构的实证验证

3.1 循环表示的实验观察

我们在维基百科语料上训练词嵌入，并分析月份表示的几何结构：

1. Gram矩阵分析：计算月份向量间的内积矩阵，发现其接近理论预测的循环结构
2. PCA投影：前两个主成分确实形成圆形，第三主成分呈现马鞍形（"日历薯片"现象）
3. 扰动实验：即使删除某些月份组合的共现数据，圆形结构仍保持稳定

图：12个月份词向量在前三个主成分上的投影，显示出清晰的圆形和马鞍形结构

3.2 线性解码时空坐标

表示几何的一个关键应用是线性探针任务——用简单线性模型从词向量解码原始坐标：

1. 对于历史年份，使用岭回归从词嵌入预测年份数值
2. 误差随探针维度r的增加而降低，符合理论预测ε² ∼ r^(-1/D)
3. 在D=1（时间）情况下，测试误差随r增大而单调下降

实测技巧：当使用前6个主成分时，年份解码的均方误差可降至0.01以下。值得注意的是，二次谐波成分对提高时间分辨率至关重要。

4. 多维度扩展与混合属性模型

4.1 二维地理表示

对于美国各州的表示，我们观察到：

1. 前几个PCA模式呈现缓慢变化的二维波动模式
2. 州与州之间的Gram矩阵内积与其地理距离呈负相关
3. 线性探针可以准确重建各州的经纬度坐标

这与二维平移对称性的理论预测一致，其中核函数C(Δx,Δy) = exp(-√(Δx²+0.78Δy²)/20)（0.78反映经纬度比例）。

4.2 混合二进制与连续属性

实际词汇通常同时具有连续（如时间）和离散（如性别）属性。通过构建联合模型：

1. 连续属性产生傅里叶表示
2. 二进制属性产生类比平行四边形结构
3. 两者通过克罗内克积组合，形成分块对角化的PMI矩阵

该模型预测，在足够大的嵌入维度下，不同类型的属性会占据表示空间的正交子空间。

5. 实际应用与模型选择建议

5.1 词嵌入训练的经验法则

1. 上下文窗口：L=16时能较好平衡局部与全局统计
2. 降维策略：保留维度d应大于预期的主成分数（如d≥50对时间建模足够）
3. 归一化处理：使用对称归一化M*而非原始PMI，可提升数值稳定性

5.2 几何结构的应用场景

1. 时间推理：利用圆形表示可直接计算"三个月后是什么月份"这类问题
2. 地理查询：通过线性变换实现"距离巴黎100km内的城市"查询
3. 数据增强：在表示空间的流形上插值可生成合理的合成样本

5.3 大语言模型中的涌现现象

在Transformer模型中，这些几何结构呈现新的特点：

1. 上下文解歧：如"May"在无上下文时表示混乱，但在"月份是May"的提示下会正确归位
2. 层级传播：底层表示受共现统计主导，高层表示发展出更复杂的计算结构
3. 维度缩放：大模型在中等维度（~1000）就能稳定保持几何结构

避坑指南：当发现表示几何不符合理论预期时，可检查：(1)语料规模是否足够 (2)词汇是否足够"纯净"（如避免多义词） (3)嵌入维度是否过低

6. 理论延伸与开放问题

虽然本文理论成功解释了循环、波纹流形等现象，但仍有许多开放方向：

1. 层次对称性：如何解释树状或分层概念（如生物分类）的表示几何？
2. 动态演化：在持续学习过程中，表示几何如何随时间演变？
3. 多模态扩展：视觉-语言联合模型中的几何结构是否遵循类似规律？

这个理论框架最令人振奋的启示或许是：看似复杂的神经网络表示，其核心结构可能源于数据统计中的简单对称性。正如物理定律源于自然界的对称性，语言模型的"神经代码"也深深植根于语言统计的规律性之中。