TF-IDF ist ein Maß dafür, wie kennzeichnend ein Wort für ein Dokument ist. Es verrechnet, wie oft das Wort in diesem Dokument vorkommt, mit der Seltenheit des Wortes in allen anderen: Was überall steht, sagt wenig, was hier auffällig oft steht, viel.
- TF-IDF
Ein Maß dafür, wie kennzeichnend ein Wort für ein Dokument ist, gemessen an seiner Seltenheit in allen anderen.
Beispiel: „Der TF-IDF-Wert von „Weiterleitungskonzept“ war hoch, weil das Wort auf den übrigen Seiten kaum vorkam.“Ausgeschrieben: Term Frequency und Inverse Document Frequency. Die zweite Hälfte geht auf Karen Spärck Jones zurück, die sie 1972 beschrieb.
Verwandt ist WDF-IDF, eine im deutschsprachigen Raum verbreitete Abwandlung, die die Häufigkeit anders dämpft.
Was TF-IDF in der Textanalyse leistet
Es zeigt, welche Wörter einen Text von anderen unterscheiden. Werkzeuge nutzen das, um einen eigenen Text mit den vorderen Treffern zu vergleichen: Welche kennzeichnenden Begriffe kommen dort vor, die hier fehlen?
Der Nutzen liegt in dieser Lückenanzeige. Als Korrekturliste gelesen, bringt sie einen Text weiter; als Zielwert gelesen, führt sie zu Texten, die für eine Formel geschrieben sind.
Warum TF-IDF kein Rankingfaktor ist
Weil es eine Grundrechenart des Information Retrieval ist und keine Einstellung bei Google. Jedes System, das Texte vergleicht, nutzt etwas in dieser Richtung, und moderne Verfahren haben die Formel längst überholt.
Was ein Werkzeug als „optimalen Wert“ ausgibt, ist deshalb der Mittelwert der aktuellen Treffer und keine Vorgabe. Ihn zu erreichen, heißt, so zu schreiben wie der Durchschnitt der ersten Seite.
Wie man mit TF-IDF arbeitet
Als Prüfung am Ende und nicht als Vorgabe am Anfang. Text schreiben, danach die Begriffsliste gegenlesen, und bei jedem fehlenden Begriff entscheiden, ob dazu etwas zu sagen ist. Was nichts beiträgt, bleibt draußen.
Besonders brauchbar ist das bei Fachthemen, bei denen man als Schreibender zu nah dran ist: Die Liste zeigt die Selbstverständlichkeiten, die man ausgelassen hat, weil sie einem selbstverständlich sind.