[论文学习]差分隐私在机器学习中的演进:从符号式AI到大型语言模型-程序员充电站

Differential Privacy in Machine Learning: From Symbolic AI to LLMs (arXiv:2506.11687, 2025)

核心問題與動機

論文的核心問題在於：隨著大規模資料收集與機器學習（ML）的蓬勃發展，如何在提取有意義洞見的同時，保護個體隱私？傳統匿名化等啟發式隱私保護方法已被證明不足以抵抗再識別攻擊（re-identification attacks），而「資訊恢復基本定律」也指出，任何有用的資料查詢都必然導致一定程度的隱私損失。

動機：

機器學習模型（尤其是深度學習與LLM）容易 memorization（記憶）訓練資料中的敏感資訊，導致成員推斷攻擊（Membership Inference Attacks, MIA）、屬性推斷攻擊或重建攻擊。
需要一個數學嚴謹、可量化的框架來界定隱私風險，並在隱私-效用（privacy-utility）之間取得平衡。
差分隱私（Differential Privacy, DP）由Cynthia Dwork等人在2006年提出，提供「鄰近資料集（differing by one record）輸出分布幾乎不可區分」的保證，為AI系統提供可組合（composable）、後處理穩健的隱私保障。
論文旨在從基礎理論追蹤到實際應用，涵蓋從符號式AI到當代LLM的完整光譜，橋接理論、機制與系統層面考量，推動負責任AI的發展。

論文強調DP不是資料集的屬性，而是演算法/機制的屬性，需透過注入校準噪聲（calibrated noise）實現，同時承認隱私與效用的根本權衡。

結果/成果

這是一篇全面的調查論文（survey），非原創演算法，但系統性地整合了DP在ML中的關鍵貢獻：

1. 基礎理論

正式定義：ε-DP 與 (ε, δ)-DP（近似DP）。
敏感度（Sensitivity）：全局/局部敏感度決定噪聲量，常見機制包括Laplace、Gaussian、Exponential Mechanism等。
變體與擴展：Zero-Concentrated DP (zCDP)、Rényi DP (RDP)、Gaussian DP 等，提供更好的組合性（composition），特別適合迭代訓練。
形式性質：可組合性、後處理穩健性、群組隱私等；討論相關資料下的退化與隱私會計（privacy accounting）。

2. 在不同ML模型中的應用

符號式AI：決策樹、規則學習等，透過噪聲添加或私有聚合實現DP。
機率式模型：貝氏網路、生成模型。
深度學習：DP-SGD（Abadi et al., 2016）是里程碑，透過梯度裁剪（clipping）與噪聲注入實現；討論Privacy Accounting vs. “Privacy for Free”；生成模型如DP-WGAN、PATE-GAN等。
模型無關技術：聯邦學習（Federated Learning）、PATE（Private Aggregation of Teacher Ensembles）框架，提供強隱私保證。

3. 在LLM中的應用（重點章節）

識別LLM特有風險：大規模預訓練導致memorization；多階段管線（pretraining、SFT、RLHF、RAG）增加攻擊面；非結構化文本的語義洩漏與上下文脆弱性。
解決方案：選擇性DP-SGD、參數高效微調（PEFT，如LoRA + DP）、資料中心方法（文本 sanitization）、知識蒸餾（DP distillation）、DP-RAG（差分私有檢索與生成）。
**擴展法則（scaling laws）**顯示DP在LLM規模下效用急劇下降，強調子抽樣（subsampling）放大隱私與緊密會計的重要性。

4. 評估框架

隱私會計、經驗攻擊測試（MIA等）、效用度量。
討論隱私-效用權衡、公平性影響（disparate impact）與實際部署案例（如Google、Apple、U.S. Census）。

分析與洞見

優勢：DP提供可驗證的保證，抗輔助資訊攻擊，適用於分散式與聯邦設定。變體如zCDP/Gaussian DP在多次組合時表現優異，適合LLM的數百萬次更新。
挑戰與權衡：
- 效用損失：尤其在高維、複雜模型或嚴格ε下明顯；對少數群體/欠代表類別有不成比例影響。
- 計算開銷：DP-SGD在LLM規模下不切實際，需仰賴PEFT與選擇性保護。
- 假安全風險：DP是理論上界，實施錯誤或相關資料可能削弱實際保護；建議搭配經驗攻擊審計。
- LLM特有洞見：傳統記錄級DP對非結構化文本不夠；需 holistic 管線方法（資料策展、微調、部署）；上下文與長程依賴複雜化隱私會計。
多角度考量：邊緣案例包括相關資料、動態資料流、公平性-隱私互動；與其他技術（如同態加密）的互補；政策與倫理意涵（鼓勵資料共享但需謹慎）。
實務意涵：適用於醫療、金融、行動裝置等高隱私領域；強調上下文特定解決方案而非通用機制。