信息瓶頸

信息瓶頸（英語：information bottleneck）是信息論中的一種方法，由納夫塔利·泰斯比、費爾南多·佩雷拉（Fernando C. Pereira）與威廉·比亞萊克於1999年提出。對於一隨機變量$X$，假設已知其與觀察變量$Y$之間的聯合概率分佈$p(X,Y)$。此時，當需要概括（聚類）$X$時，可以通過信息瓶頸方法來分析如何最優化地平衡準確度與複雜度（數據壓縮）。該方法的應用還包括分佈聚類（distributional clustering）與降維等。此外，信息瓶頸也被用於分析深度學習的過程。

信息瓶項方法中運用了互信息的概念。假設壓縮後的隨機變量為$T$，我們試圖用$T$代替$X$來預測$Y$。此時，可使用以下算法得到最優的$T$：

$\min _{p(t|x)}\,\,I(X;T)-\beta I(T;Y),$

其中$I(X;T)$與$I(T;Y)$分別為$X$與$T$之間、以及$T$與$Y$之間的互信息，可由$p(X,Y)$計算得到。$\beta$則表示拉格朗日乘數。