📖标题：LLMs as Noisy Channels: A Shannon Perspective on Model Capacity and Scaling Laws
🌐来源：arXiv, 2605.23901v1
🛎️文章简介
🔸研究问题：现有单调幂律缩放法则无法解释大模型在过训练或量化时出现的性能非单调下降（U型曲线）现象，如何建立统一理论框架来刻画这一行为？
🔸主要贡献：论文提出香农缩放律，将LLM训练建模为噪声信道信息传输，统一解释了单调提升与U型退化现象，并在多种扰动下实现高精度拟合与外推。
📝重点思路
🔸理论映射：基于香农-哈特利定理，将模型参数量映射为信道带宽，训练Token数映射为信号功率，数据噪声、模型交互噪声及不可约噪声构成总噪声，定义LLM容量。
🔸公式构建：推导香农缩放律公式，认为Loss与容量成反比。该公式显式捕捉了学习信号与内在噪声的交互，指出若信噪比不足，盲目扩大规模会放大噪声导致性能崩塌。
🔸实验验证：在Pythia和OLMo2模型上，针对高斯噪声、监督微调（SFT）及量化三种扰动源进行实验，对比传统幂律及近期扰动感知法则，评估拟合优度与外推能力。
🔎分析总结
🔸拟合优势：香农缩放律在所有噪声水平下均优于基线方法，平均R²超过0.95。特别是在高噪声（如低比特量化、高学习率SFT）导致的U型损失盆地中，传统单调法则失效，而本法能准确捕捉性能拐点。
🔸外推能力：在小规模模型（≤6.9B）和少量Token（≤180B）上拟合后，能准确预测未见过的12B模型在307B Token下的表现（ pooled R²=0.847），而Chinchilla等基线在外推时彻底崩溃。
🔸机制揭示：指数分析表明，当扰动增强时，模型噪声增长速度快于带宽增益，导致扩展模型尺寸反而有害；且数据噪声累积效应始终存在，证实了U型退化的普遍性。
💡个人观点
论文跳出经验主义的幂律拟合，从信息论第一性原理出发，解决了“灾难性过训练”等异常现象的建模难题。
