Softmax-Funktion

In der Mathematik ist die sogenannte Softmax-Funktion oder normalisierte Exponentialfunktion eine Verallgemeinerung der logistischen Funktion, die einen $K$ -dimensionalen Vektor $𝐳$ mit reellen Komponenten in einen $K$ -dimensionalen Vektor $σ (𝐳)$ ebenfalls als Vektor reeller Komponenten in den Wertebereich $(0, 1)$ transformiert, wobei sich die Komponenten zu $1$ aufsummieren. Der Wert $1$ kommt nur im Sonderfall $K = 1$ vor.

Die Softmax-Funktion ist gegeben durch:

σ : ℝ^{K} \to (0, 1)^{K}

σ (𝐳)_{j} = \frac{e^{z_{j}}}{\sum_{k = 1}^{K} e^{z_{k}}}

für j = 1, …, K.

Zusammenhang zur Logit-Funktion

Bei der binären logistischen Regression benötigt man zur vollständigen Beschreibung lediglich die Wahrscheinlichkeit einer Klasse: $P (Y = 1) = 1 - P (Y = 0)$ . Für zwei Klassen ist die Softmax-Funktion:

σ (𝐳)_{j} = \frac{e^{z_{j}}}{e^{z_{1}} + e^{z_{2}}}

für j = 1, 2 und

σ (𝐳)_{2} = 1 - σ (𝐳)_{1}

.

Da die $z_{j}$ um eine beliebige Konstante verschoben werden können ohne das Ergebnis zu ändern, gilt:

σ (𝐳)_{1} = \frac{e^{z_{1}}}{e^{z_{1}} + e^{z_{2}}} = \frac{e^{z_{1}}}{e^{z_{1}} + e^{z_{2}}} \underset{1}{\underset{⏟}{\frac{e^{- z_{2}}}{e^{- z_{2}}}}} = \frac{e^{z_{1}} e^{- z_{2}}}{e^{z_{1}} e^{- z_{2}} + 1} = \frac{e^{\tilde{z}}}{e^{\tilde{z}} + 1} = {logit}^{- 1} (\tilde{z}),

mit $\tilde{z} = z_{1} - z_{2}$ und der Inversen der Logit-Funktion.

Alternativen

Softmax erzeugt Wahrscheinlichkeitsvorhersagen, welche über ihrem Träger dicht besetzt sind. Andere Funktionen wie sparsemax oder $α$ -entmax können benutzt werden, wenn dünn besetzte Wahrscheinlichkeitsvorhersagen erzeugt werden sollen.

Verwendung

Wahrscheinlichkeitstheorie

In der Wahrscheinlichkeitstheorie kann die Ausgabe der Softmax-Funktion genutzt werden, um eine kategoriale Verteilung – also eine Wahrscheinlichkeitsverteilung über $K$ unterschiedliche mögliche Ereignisse – darzustellen. Tatsächlich entspricht dies der gradient-log-Normalisierung der kategorialen Wahrscheinlichkeitsverteilung. Somit ist die Softmax-Funktion der Gradient der LogSumExp-Funktion.

Multiklassen-Klassifikation

Die Softmax-Funktion wird in verschiedenen Methoden der Multiklassen-Klassifikation verwendet, wie bspw. bei der multinomialen logistischen Regression (auch bekannt als Softmax-Regression), der multiklassen-bezogenen linearen Diskriminantenanalyse, bei naiven Bayes-Klassifikatoren und künstlichen neuronalen Netzen. Insbesondere in der multinomialen logistischen Regression sowie der linearen Diskriminantenanalyse entspricht die Eingabe der Funktion dem Ergebnis von $K$ distinkten linearen Funktionen, und die ermittelte Wahrscheinlichkeit für die $j$ -te Klasse gegeben ein Stichprobenvektor $x$ und einem Gewichtsvektor $w$ entspricht:

P (y = j ∣ 𝐱) = \frac{e^{𝐱^{𝖳} 𝐰_{j}}}{\sum_{k = 1}^{K} e^{𝐱^{𝖳} 𝐰_{k}}}

Dies kann angesehen werden als Komposition von $K$ linearen Funktionen $𝐱 \mapsto 𝐱^{𝖳} 𝐰_{1}, \dots, 𝐱 \mapsto 𝐱^{𝖳} 𝐰_{K}$ und der Softmax-Funktion (wobei $𝐱^{𝖳} 𝐰$ das innere Produkt von $𝐱$ und $𝐰$ bezeichnet). Die Ausführung ist äquivalent zur Anwendung eines linearen Operators definiert durch $𝐰$ bei Vektoren $𝐱$ , so dass dadurch die originale, möglicherweise hochdimensionale Eingabe in Vektoren im $K$ -dimensionalen Raum $ℝ^{K}$ transformiert wird.

Transformer

Softmax ist ein Baustein der „Aufmerksamkeit“-Algorithmen (Teil der sogenannten Transformer) moderner Large Language Models (LLMs). Softmax wandelt einen Vektor von Rohwerten (Logits) in Wahrscheinlichkeiten um, deren Summe eins ergibt.

Siehe auch

Die kanonische Zustandssumme $Z$ , auch Normalisierungskonstante genannt, ist eine Funktion aus der statistischen Physik bzw. statistischen Mechanik. Sie normalisiert die Wahrscheinlichkeitsverteilung der Zustände in einem Teilchensystem, da die Gesamtwahrscheinlichkeit, das System in einem bestimmten Mikrozustand zu finden, gleich 1 sein muss.

Einzelnachweise

1 2 Christopher M. Bishop: Pattern Recognition and Machine Learning (= Information science and statistics). Springer, New York 2006, ISBN 978-0-387-31073-2 (englisch, archive.org [abgerufen am 4. April 2026]).
↑ Maxat Tezekbayev et al.: Speeding Up Entmax. In: Arxiv. 19. Mai 2022, abgerufen am 4. April 2026 (englisch).
↑ Computer Science Department: Unsupervised Feature Learning and Deep Learning Tutorial. Stanford University, abgerufen am 30. Januar 2019 (englisch).
↑ Sophia Tamm: Einführung in neuronale Netze. In: Seminar Maschinelles Lernen - Dr. Zoran Nikolić. Universität Köln, 30. Mai 2019, abgerufen am 24. Mai 2022.
↑ Zhaoyang Niu et al.: A review on the attention mechanism of deep learning. In: Neurocomputing. Band 452, 10. September 2021, ISSN 0925-2312, S. 48–62, doi:10.1016/j.neucom.2021.03.091 (englisch, sciencedirect.com [abgerufen am 4. April 2026]).
↑ Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N. Gomez, Lukasz Kaiser, Illia Polosukhin: Attention Is All You Need. In: ArXiv. 2. August 2023, abgerufen am 1. April 2026 (englisch, 1. Veröffentlichung im Jahr 2017 ; aktualisiert bis 2023).

[:0-1] 1 2 Christopher M. Bishop: Pattern Recognition and Machine Learning (= Information science and statistics). Springer, New York 2006, ISBN 978-0-387-31073-2 (englisch, archive.org [abgerufen am 4. April 2026]).

[2] Maxat Tezekbayev et al.: Speeding Up Entmax. In: Arxiv. 19. Mai 2022, abgerufen am 4. April 2026 (englisch).

[3] Computer Science Department: Unsupervised Feature Learning and Deep Learning Tutorial. Stanford University, abgerufen am 30. Januar 2019 (englisch).

[4] Sophia Tamm: Einführung in neuronale Netze. In: Seminar Maschinelles Lernen - Dr. Zoran Nikolić. Universität Köln, 30. Mai 2019, abgerufen am 24. Mai 2022.

[5] Zhaoyang Niu et al.: A review on the attention mechanism of deep learning. In: Neurocomputing. Band 452, 10. September 2021, ISSN 0925-2312, S. 48–62, doi:10.1016/j.neucom.2021.03.091 (englisch, sciencedirect.com [abgerufen am 4. April 2026]).

[:4-6] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N. Gomez, Lukasz Kaiser, Illia Polosukhin: Attention Is All You Need. In: ArXiv. 2. August 2023, abgerufen am 1. April 2026 (englisch, 1. Veröffentlichung im Jahr 2017 ; aktualisiert bis 2023).