Topic modeling

Topic modeling (wörtliche deutsche Übersetzung: Themenmodellierung) ist eine Methode des maschinellen Lernens, die verwendet wird, um Topics in einem Textkorpus zu identifizieren und zu klassifizieren. Topics sind dabei als Gruppen von Wörtern zu verstehen, die einerseits häufig gemeinsam miteinander auftreten und andererseits eine bestimmte semantische Gemeinsamkeit haben, ohne dass sie unmittelbar mit Themen gleichgesetzt werden können. Topic modeling verwendet statistische Methoden, um parallel die Gruppen zusammengehöriger Wörter und ihre Verteilung über die Dokumente im Textkorpus zu ermitteln. Das Ergebnis ist eine Darstellung des Textkorpus in Form von Topic-Verteilungen, die für eine Analyse semantischer Muster und Trends in Textkorpora geeignet ist. Die Methode wird oft in der Textanalyse, der Informationssuche und der Dokumentenklassifizierung verwendet.

Im Allgemeinen können Topic models in zwei Klassen eingeteilt werden: probabilistische und nicht-probabilistische Modelle. Nicht-probabilistische Modelle funktionieren über einen algebraischen Matrixfaktorisierungsansatz und sind die älteren Modelle der beiden Klassen. Die probabilistischen Modelle wurden entwickelt, um die Ergebnisse der nicht-probabilistschen Modelle zu verbessern, indem durch Verwendung generativer Modellansätze ein Wahrscheinlichkeitssinn hinzugefügt wurde.

Nicht-probabilistische Modelle

In den frühen 1990ern wurden die Konzepte der Latent Semantic Analysis (LSA) und der Non-Negative Matrix Factorization (NMF) entwickelt. Beide Modelle basieren auf der Bag-of-Words-Methode. Die Idee hinter der Bag-of-Words-Methode besteht darin, einen Text in eine Folge von Wörtern zu zerlegen und diese Wörter als Einzelzeichen zu behandeln, ohne die grammatikalischen oder semantischen Beziehungen zwischen ihnen zu berücksichtigen. Ein Text wird in eine Liste von Wörtern (manchmal auch als Tokens bezeichnet) zerlegt, und jedes Wort wird als einzelnes Feature betrachtet.

Nonnegative Matrix Factorization (NMF)

Bei NMF wird eine Dokument-Begriffs-Matrix mit den Gewichtungen verschiedener Begriffe aus einem Satz von Dokumenten erstellt. Diese Matrix wird in eine Begriff-Merkmal- und eine Merkmal-Dokument-Matrix faktorisiert. Die Merkmale werden aus den Inhalten der Dokumente abgeleitet, und die Merkmal-Dokument-Matrix beschreibt Datencluster verwandter Dokumente.

Latent Semantic Analysis (LSA)

LSA basiert auf dem Prinzip der Singulärwertzerlegung und der Verteilungshypothese, bei der Begriffe mit ähnlicher Bedeutung auch näher in ihrer kontextuellen Benutzung sind. Deswegen werden die Texte in Vektoren umgewandelt und nach ähnlichen Wörtern in den Texten gesucht, um sie dann in Themen zu gruppieren. Dabei werden die Begriffe mithilfe einer Gewichtungsfunktion gewichtet. Diese sollte hochfrequenten Begriffen, die in vielen Dokumenten vorkommen, eine geringe Gewichtung geben und solchen eine hohe Gewichtung, die in einigen Dokumenten vorkommen, aber nicht in allen. Diese Methode weicht leicht von der Bag-of-Words-Methode ab und wird deswegen auch als Sequence-of-Words-Methode bezeichnet. LSA kann allerdings auch ohne die kontextuelle Benutzung mit der reinen Bag-of-Words-Methode angewandt werden.

Sentence-Transformer

Neuere Ansätze benutzen Satz-Embeddings aus Sentence-Transformern (vgl. Transformer (Maschinelles Lernen)), welche auf Large Language Models basieren, und clustern die Embeddings.

Probabilistische Modelle

Die probabilistischen Modelle wurden ursprünglich auf Basis der nicht-probabilistischen entwickelt. Aus diesem Grund ist das erste solche Modell auch die Probabilistic Latent Semantic Analysis (PLSA). Wie bei der latenten semantischen Analyse, kann man eine niedrigdimensionale Darstellung der beobachteten Variablen in Bezug auf ihre Affinität zu bestimmten verborgenen Variablen ableiten. Dafür wird jedes Dokument als eine Liste von Mischungsverhältnissen von Begriffen dargestellt und auf eine Wahrscheinlichkeitsverteilung von einer festen Menge von Themen reduziert.

Latent Dirichlet Allocation ist eine häufig eingesetzte Methode für das Topic modeling. Sie wurde von David Blei, Andrew Ng und Michael I. Jordan entwickelt. Dokumente sind in diesem Fall gruppierte, diskrete und ungeordnete Beobachtungen (im Folgenden „Wörter“ genannt). In den meisten Fällen werden Textdokumente verarbeitet, in denen Wörter gruppiert werden, wobei die Wortreihenfolge keine Rolle spielt.