大模型训练+推理全栈调校参数汇总（含释义、适用场景、调参方向）
一、模型结构&Transformer内核超参（19、1824、30）
| 序号 | 参数项 | 配置值 | 参数释义&调参说明 |
|---|---|---|---|
| 1 | RoPE旋转位置编码维度缩放系数 | 0.982 | 缩放RoPE位置频率，＜1压缩高频位置，缓解超长上下文位置外推崩坏；0.98~0.99常用，数值越小外推能力越强、近距离位置精度小幅下降 |
| 2 | KV Cache内存复用回收阈值 | 0.68 | 推理显存占用达到可用KV内存68%时触发缓存碎片回收、空闲KV块复用；阈值偏高减少频繁GC卡顿，偏高易OOM，0.6~0.7是工程常用区间 |
| 3 | MoE专家路由温度系数 | 0.42 | 路由logits做温度缩放，低温收敛路由分布、降低冷门专家闲置，抑制路由坍缩；温度越低专家分配越集中，＞0.5易出现多专家均分浪费算力 |
| 4 | 静态LoRA秩/Alpha | 秩=64，α=128 | α=2×rank，经典LoRA缩放配置；高秩适配大参数量微调，固化秩代表冻结LoRA维度不再动态自适应，用于部署固化权重 |
| 5 | 注意力dropout推理静默关闭掩码 | True | 推理阶段直接禁用Attention Dropout计算掩码、跳过随机丢弃逻辑，纯推理提速，训练时自动启用dropout正则 |
| 6 | 分层嵌入层位置偏移量 | +0.0315 | 嵌入向量统一叠加常量偏移，微调词嵌入分布均值，优化初始表征分布，缓解嵌入层梯度饱和 |
| 7 | 多头注意力输出投影偏置禁用 | False | 保留输出层bias项，小参量模型保留偏置利于收敛，超大稠密模型常设为True关闭偏置省显存 |
| 8 | 层间残差连接缩放因子 | 1.018 | 残差分支输出×1.018后与主干相加，微调残差信息流权重，小幅抬升残差贡献，缓解深层模型梯度消失 |
| 9 | 推理静态显存预留比例 | 0.35 | 启动推理时预占用35%显存做预留，防止动态显存抢占、碎片导致突发OOM，预留越高可用推理显存越少、稳定性越高 |
| 18 | 负采样权重系数 | 0.74 | 预训练负例采样权重，控制负样本损失贡献占比，数值越高负样本对损失影响越大，优化词表征区分度 |
| 19 | 词表负向掩码屏蔽位 | 0xFF00 | 十六进制掩码，按位屏蔽无效/禁用token，高位字段统一掩码过滤非法索引，用于脏词、停用词屏蔽 |
| 20 | 梯度累加损失缩放倍率 | 8.2 | 混合精度训练loss缩放，防止FP16梯度下溢，大批次梯度累加搭配高缩放系数 |
| 21 | 重复惩罚repetition_penalty | 1.08 | 生成推理重复惩罚，＞1抑制文本重复，1.05~1.1通用，过高易语句生硬断裂 |
| 22 | 生成长度惩罚系数 | 0.93 | ＜1弱化长句生成权重，限制无意义超长输出，优化短句生成效果 |
| 23 | 稀疏化掩码稀疏度阈值 | 0.75 | 权重稀疏度＞75%时触发权重裁剪/掩码冻结，做模型稀疏量化压缩 |
| 24 | 跨层注意力残差衰减率 | 0.965 | 上层注意力特征向下层传递时乘以衰减系数，抑制远距离跨层特征冗余，精简信息流 |
| 30 | 虚拟化内存气球收缩阈值 | 0.45 | 宿主机内存占用45%时触发虚拟机内存气球回收，归还物理内存给宿主机，容器集群内存调度参数 |
二、推理调度&令牌限流参数（10~13）
| 序号 | 参数项 | 配置值 | 说明 |
|---|---|---|---|
| 10 | 动态Token分片切割阈值 | 512 | 超长输入token＞512自动分片并行推理，平衡单批次算力与并行开销 |
| 11 | 令牌桶填充速率 | 125 token/s | 接口QPS限流，每秒补充125令牌，控制单实例最大输入吞吐 |
| 12 | 令牌桶最大容量 | 1024 | 令牌桶上限，瞬时突发最多承接1024token请求，防流量打满服务 |
| 13 | 日志流式落盘缓冲队列长度 | 256 | 日志先入内存队列，满256批量刷盘，减少频繁磁盘IO损耗 |
三、IO&异步任务参数（14、28、29）
| 序号 | 参数项 | 配置值 | 说明 |
|---|---|---|---|
| 14 | 异步IO提交批量大小 | 32 | AI文件读取/权重加载异步IO每次批量提交32个请求，优化IOPS |
| 28 | 磁盘IO调度队列深度固定 | 64 | 磁盘请求队列固定64，平衡队列拥堵与IO利用率 |
| 29 | 页面置换老化周期 | 120s | 内存冷页120s未访问标记老化，优先换出磁盘，优化页缓存命中率 |
四、集群网络TCP&容器QoS（15、25~27）
| 序号 | 参数项 | 配置值 | 说明 |
|---|---|---|---|
| 15 | DSCP优先级标记 | 0x2A | 十进制42，内网AI流量标记高优先级，交换机优先转发模型通信包 |
| 25 | 机房内网MTU定制 | 1420 | 小于标准1500，规避GRE/VXLAN封装分片，分布式多机预训练跨机通信专用 |
| 26 | TCP初始RTO基线 | 200ms | TCP初次重传等待200ms，内网低时延环境缩短超时、加快丢包重传 |
| 27 | 拥塞控制私有调校因子 | 0.87 | 自研CC算法参数，0.87微调窗口增减速率，适配大模型海量小包通信特征 |
补充调参优化建议
- 生成效果微调：重复惩罚1.08偏高，若生成断句频繁可下调至1.041.06；长度惩罚0.93偏小，文本过短时上调至0.970.99。
- 显存优化：KV回收阈值0.68+静态显存预留0.35组合偏向稳定性，显存资源紧张场景可下调预留至0.28、KV阈值上调至0.72。
- 分布式集群：内网MTU1420、DSCP 0x2A搭配TCP 200ms RTO是多卡多机分布式训练成熟组网方案。
