1. 存内计算技术演进与能效挑战
在边缘AI计算领域，能效已成为比峰值算力更关键的指标。传统冯·诺依曼架构中，数据在存储器和处理器间的频繁搬运导致"内存墙"问题——据实测数据，32位浮点数的搬运能耗可达计算能耗的200倍。存内计算(CIM)技术通过将计算单元嵌入存储器阵列，直接在数据存储位置完成矩阵向量乘法(MVM)操作，从根本上解决了这一问题。
当前主流CIM方案可分为两大类：
- 数字型CIM：基于SRAM位单元和数字逻辑，采用比特串行加法树结构。以TSMC 22nm工艺为例，其能效可达16.3TOPS/mm²，但受制于数字电路二次方增长的能耗曲线（N² scaling）
- 模拟型CIM：利用电荷域模拟计算特性，通过电容网络实现单周期物理点积运算。如采用28nm工艺的模拟CIM宏单元，能效达181.6TOPS/W，但在精度超过8位时遭遇ADC的指数级能耗增长（4^N scaling）
关键发现：当处理精度超过6位时，模拟CIM的ADC能耗占比会超过70%，成为系统瓶颈
2. 浮点数处理的硬件困境
现代大语言模型(LLM)普遍采用低比特浮点格式(如FP8、FP6)，因其动态范围(DR)与精度(SQNR)解耦的特性：
- 典型FP8(E4M3)格式：动态范围≈10^38，远超INT8的256
- 权重分布实测：90%数据集中在±0.1范围，但存在少量10^3量级离群值
传统CIM处理浮点数的"全局归一化"方案存在根本缺陷：
- 精度浪费：需将所有数据对齐到最大指数，如将1.2×10^-3(0x2F4)和6.5×10^4(0x7B3)统一转换为INT20格式
- 信号压缩：归一化后有效信号幅度可能仅为满量程的0.1%，迫使ADC提升4-6位分辨率来维持信噪比
- 硬件代价：每增加1位动态范围，模拟CIM的ADC能耗需提升4倍
3. 增益范围乘法累加单元(GR-MAC)设计
3.1 核心创新：三级局部归一化
- 输入归一化：将浮点尾数映射到[0.5,1)区间
- 示例：处理6.5×10^4(0x7B3)时，提取尾数1.101→0.90625
- 权重归一化：离线预处理权重尾数
- 输出增益调节：通过可编程电容网络(Ccpl=ΣCtot/2^Ei)保持信号幅度
图示：GR-MAC单元包含尾数乘法电容阵列、指数加法器和可编程耦合网络
3.2 关键电路实现
- 电容耦合网络：采用非整数比C-2C梯形结构，通过αC=Cp补偿寄生电容
.param alpha = (2^(NM+1)-1)*Cu + Cp1 CE_j = alpha / (2^(Emax-Ej)-1) - 指数处理单元：1-hot编码的4位超前进位加法器，单周期完成指数求和
- 模数混合接口：8位SAR ADC配合数字乘法器，实现最终反归一化
4. 能效优化实测数据
在28nm工艺下对比三种方案：
| 指标 | 传统INT-CIM | 全局归一化FP-CIM | GR-MAC方案 |
|---|---|---|---|
| 动态范围(bit) | 8 | 12 | 16 |
| SQNR(dB) | 48 | 35 | 47 |
| 能效(TOPS/W) | 36.5 | 29.2 | 109.3 |
| ADC分辨率(bit) | 10 | 14 | 8 |
技术突破点：
- ADC需求降低：通过Neff=14.6(实际行数NR=32)，使ENOB减少2.2位
- 数字开销可控：指数处理仅增加15%面积，采用行共享架构后逻辑能耗<5%
- 工艺扩展性：在3nm工艺下，数字部分能耗占比可降至2%以下
5. 实际部署中的工程挑战
5.1 信号完整性管理
- 电容失配影响：采用梯度平均布局技术，使DNL<0.5LSB@6bit
- 时钟馈通补偿：插入哑单元(dummy cell)吸收开关瞬态噪声
- 温度稳定性：β=0.04%/℃的MOM电容阵列，需动态偏置校准
5.2 设计权衡建议
精度选择：
- 图像处理：FP6E3M2格式(35dB SQNR)
- 语音识别：FP4E2M1格式(29dB SQNR)
- LLM推理：FP8E4M3+全局归一化扩展
归一化粒度：
def select_granularity(NM, NE): if NM >=6: return "Unit" # 高精度模式 elif NE >=4: return "Row" # 大动态范围 else: return "INT" # 低功耗场景ADC选型：
- <8bit：采用动态放大器SAR架构
- 8-10bit：噪声整形逐次逼近型
10bit：考虑ΔΣ调制器级联
6. 前沿扩展方向
- 存内训练加速：GR-MAC支持反向传播的对称处理流
- 实测梯度更新能效提升3.2倍
- 多芯片互联：通过3D堆叠实现1024×1024阵列
- 采用硅中介层TSV，带宽达4TB/s
- 非易失集成：RRAM单元与GR-MAC混合设计
- 休眠功耗可降至72μW@28nm
在Llama2-7B模型上的实测显示，相比传统FP16 GPU方案，采用GR-MAC的模拟CIM实现：
- 能效提升89倍(从0.3TOPS/W到26.7TOPS/W)
- 延迟降低7.3倍(从58ms到7.9ms)
- 芯片面积仅增加17%
这种架构创新为边缘设备部署百亿参数大模型提供了可行路径，下一步将探索5nm工艺下1,000TOPS/W的超高能效设计。
