多任务学习一直是机器学习中的一个诱人愿景：让单个模型同时掌握多项技能，像人类一样举一反三，提升数据利用效率。然而，在现实中，同时学习多个任务，效果有时还不如为每个任务单独训练一个模型。
其核心矛盾在于：不同任务的梯度（指导模型更新的方向）经常“打架”。有的梯度幅值大，有的方向完全相反。简单地将梯度加起来更新，模型就会被大梯度或某个特定任务“带偏”，导致其他任务学不好。
学术界提出了一系列基于梯度组合的方法，它们通过加权、投影、统一符号等方式，调和梯度冲突，并保证梯度优化可以收敛到多任务学习的纳什均衡解。
- 经典文章
- [ICML 2018] GradNorm: Gradient Normalization for Adaptive Loss Balancing in Deep Multitask Networks
- [NeurIPS 2018] Multi-Task Learning as Multi-Objective Optimization (MGDA-UB)
- [NeurIPS 2020] Just Pick a Sign: Optimizing Deep Multitask Models with Gradient Sign Dropout (GradDrop)
- [NeurIPS 2020] Gradient Surgery for Multi-Task Learning (PCGrad)
- [NeurIPS 2021] Conflict-Averse Gradient Descent for Multi-task learning (CAGrad)
- [ICML 2022] Multi-Task Learning as a Bargaining Game (Nash-MTL)
- [NeurIPS 2023] Direction-oriented Multi-objective Learning: Simple and Provable Stochastic Algorithms (SDMGrad)
- [NeurIPS 2023] FAMO: Fast Adaptive Multitask Optimization
- 将梯度组合方法应用在 LLM 领域
经典文章
[ICML 2018] GradNorm: Gradient Normalization for Adaptive Loss Balancing in Deep Multitask Networks
- arxiv：https://arxiv.org/abs/1711.02257
- 参考博客：CSDN | GradNorm：多任务学习中的梯度平衡方法
根据各个任务 loss 下降的速度，动态调节每个任务的权重。希望学得慢的任务获得更大的梯度，学得快的任务则减小梯度。
[NeurIPS 2018] Multi-Task Learning as Multi-Objective Optimization (MGDA-UB)
- arxiv：https://arxiv.org/abs/1810.04650
- 参考博客：CSDN | MGDA-UB：寻找多任务学习中的帕累托最优，缓解任务冲突问题
是 MGDA 方法的直接改进。
MGDA 希望求解各个梯度\(\nabla_\theta L_i\)之间的凸组合：找权重\(\alpha\)，\(\sum_i \alpha_i = 1\)，让加权后的梯度\(\|\sum_i \alpha_i \nabla_\theta L_i\|^2\)的二范数最小。
[NeurIPS 2020] Just Pick a Sign: Optimizing Deep Multitask Models with Gradient Sign Dropout (GradDrop)
- arxiv：https://arxiv.org/abs/2010.06808
- 参考博客：CSDN | GradDrop：让多任务学习不再“梯度拔河”
对于每一个参数，GradDrop 只允许一个“方向”的更新（要么全增加，要么全减少），但保留这个方向上所有的“力量”。与其让正负梯度在“拔河”中相互抵消，不如在每次更新时，统一所有梯度的方向（符号）。
对于每个参数位置，我们汇集所有任务在该处的梯度值，计算一个梯度符号纯度分数。然后，生成一个 0 到 1 之间的随机数，与纯度比较，如果纯度 > 随机数，则保留所有正梯度，丢弃所有负梯度，纯度 < 随机数则相反。
[NeurIPS 2020] Gradient Surgery for Multi-Task Learning (PCGrad)
- arxiv：https://arxiv.org/abs/2001.06782
- GitHub：https://github.com/WeiChengTseng/Pytorch-PCGrad
- 参考博客：CSDN | PCGrad：通过梯度手术，让多任务学习不再“左右互搏”
又是 tianhe yu 的工作。
做了 RL task。
如果两个任务的梯度方向冲突（余弦相似度 < 0，即夹角 > 90°），就把每个梯度投影到另一个梯度的“垂直平面”上，去掉冲突部分。
[NeurIPS 2021] Conflict-Averse Gradient Descent for Multi-task learning (CAGrad)
- arxiv：https://arxiv.org/abs/2110.14048
- OpenReview：https://openreview.net/forum?id=61Qh8tULj
- GitHub：https://github.com/Cranial-XIX/CAGrad
- MTRL 的 GitHub：https://github.com/facebookresearch/mtrl
- 参考博客：CSDN | CAGrad：保证收敛到平均损失最小的多任务梯度算法
做了 RL task，好像 RL task 的代码开源了。
CAGrad 在平均梯度附近寻找一个更新方向，让所有任务中损失下降最慢的那个任务 也能得到提升，从而平衡各任务，同时还能保证最终收敛到平均损失的最小值。
[ICML 2022] Multi-Task Learning as a Bargaining Game (Nash-MTL)
- arxiv：https://arxiv.org/abs/2202.01017
- GitHub：https://github.com/AvivNavon/nash-mtl
- 参考博客：CSDN | Nash-MTL：在多任务梯度组合中引入纳什谈判解
做了 RL task。
Nash-MTL 的理论：对各个 task i，希望求解梯度\(\Delta\theta\)最大化\(\sum\log g_i^\top \Delta\theta\)。这样的\(\Delta\theta\)方向是唯一的，模长 原文有说法。
[NeurIPS 2023] Direction-oriented Multi-objective Learning: Simple and Provable Stochastic Algorithms (SDMGrad)
- arxiv：https://arxiv.org/abs/2305.18409
- GitHub：https://github.com/OptMN-Lab/SDMGrad
- 主要内容：感觉是 CAGrad 的直接改进，但把 CAGrad 限制梯度一定要在平均 loss 下降方向的一个球内，这个约束换成了 λ 加权的惩罚，因为这个新形式天然允许构造一个无偏的随机梯度估计器。
做了 RL task。
[NeurIPS 2023] FAMO: Fast Adaptive Multitask Optimization
- arxiv：https://arxiv.org/abs/2306.03792
- GitHub：https://github.com/Cranial-XIX/FAMO
可能直接有 Nash-MTL 的 MTRL 代码，不确定。
论文还没看。
将梯度组合方法应用在 LLM 领域
以下文章都是发表在质量高的会议上的，在学术的角度，应该可以算正样本。
还没具体看。
- 🍯 Gradient-Adaptive Policy Optimization: Towards Multi-Objective Alignment of Large Language Models -- 梯度自适应策略优化：迈向大语言模型的多目标对齐
- 信息：ACL 2025 (main)，https://arxiv.org/abs/2507.01915
- 关键词：将人类价值观对齐问题构建为一个多目标优化问题，梯度自适应策略优化 (GAPO)，自适应地重新调整每个目标的梯度，引入用户 preference（权重向量），收敛到一个多目标非支配解，Mistral-7B
- 🍯 Pareto Multi-Objective Alignment for Language Models -- 语言模型的帕累托多目标对齐
- 信息：ECML/PKDD 2025，https://arxiv.org/abs/2508.07768
- 关键词：提出了帕累托多目标对齐（PAMA），将 O(n^2*d) 复杂度降低到 O(n)，收敛到一个 Pareto 稳定点，从 125M 到 7B 参数范围
- 🍯 GRAPE: Optimize Data Mixture for Group Robust Multi-target Adaptive Pretraining -- GRAPE: 优化数据混合，以实现群体鲁棒多目标自适应预训练
- 信息：NeurIPS 2025，https://arxiv.org/abs/2505.20380
- 关键词：GRAPE 动态调整源域（领域权重）的采样权重，同时调节各个任务的权重，建模为一个极小极大优化问题，实验验证了 ClimbLab、SlimPajama 数据集和多语言目标
- 🍯 CoBa: Convergence Balancer for Multitask Finetuning of Large Language Models -- CoBa: 用于多任务微调大语言模型的收敛平衡器
- 信息：EMNLP 2024 (main)，https://arxiv.org/abs/2410.06741
- 关键词：不同任务收敛速度差异巨大，有的先“学完”开始过拟合，有的还几乎没学到，coba 希望各个任务最终一起收敛；计算完全在 loss 级别，避免显式求多任务梯度
- 🍯 AMoPO: Adaptive Multi-objective Preference Optimization without Reward Models and Reference Models -- AMoPO: 无需奖励模型和参考模型的自适应多目标偏好优化
- 信息：ACL 2025，https://arxiv.org/abs/2506.07165
- 关键词：alignment 的目标可以通过输出特性指标（如礼貌性、简洁度、真实性）间接刻画，不一定每个都要 reward 模型；把这些“维度感知的生成指标”当成隐式 reward，构建多目标优化问题；在“偏好权重空间”假设一个高斯分布，动态从中采样权重向量，作为每次更新的标量化权重；7B、14B 和 32B 模型的实验；去掉显式 reward/reference 模型，大幅减轻工程负担
- 🍯 PiKE: Adaptive Data Mixing for Large-Scale Multi-Task Learning Under Low Gradient Conflicts -- PiKE: 适用于低梯度冲突下大规模多任务学习的自适应数据混合
- 信息：NeurIPS 2025 spotlight，https://arxiv.org/abs/2502.06244
- 关键词：多任务梯度其实大部分时间是“低冲突/高度正对齐”的，不是我们在 CV 小模型上常见的那种强负相关场景；估计各任务梯度的期望下降量和方差，推导出每步期望 loss 降低的上界，然后选择能最大化这个上界的任务采样分布（即“下个 batch 选哪个任务的数据”）
- 🍯 LDC-MTL: Balancing Multi-Task Learning through Scalable Loss Discrepancy Control -- LDC-MTL: 通过可扩展损失差异控制，平衡多任务学习
- 信息：ICLR 2026 分数 6644，https://arxiv.org/abs/2502.08585
- 关键词：把 MTL 写成双层优化问题，收敛到 ε‑Pareto stationary 点，同时控制 loss 之间的差距
