PerplexityBot ist der Crawler des KI-Antwortdienstes Perplexity, der Webseiten abruft, um daraus Antworten mit Quellenangaben zu bauen. Daneben gibt es eine weitere Kennung für Abrufe, die unmittelbar durch eine Nutzerfrage ausgelöst werden.
- PerplexityBot
Der Crawler des Antwortdienstes Perplexity, der Seiten für dessen Antworten abruft.
Beispiel: „PerplexityBot holte die Seite zweimal am Tag, und der Dienst nannte sie in Antworten als Quelle.“Gesteuert wird er wie andere über die robots.txt. Dem Anbieter wurde in der Vergangenheit vorgeworfen, Sperren zu umgehen; belastbar prüfen lässt sich das nur im eigenen Serverprotokoll.
Der Zweck unterscheidet sich vom Sammeln für Training: Hier geht es um Quellen für Antworten, also um Sichtbarkeit.
Was eine Sperre bedeutet
Den Verzicht auf Nennung. Wer diesen Abruf sperrt, erscheint in den Antworten des Dienstes nicht mehr als Quelle. Für Betriebe, die über Fachinhalte gefunden werden, ist das ein Verlust an Sichtbarkeit in einem wachsenden Kanal.
Wie man die eigene Lage prüft
Im Serverprotokoll und im Dienst selbst. Das Protokoll zeigt, ob und welche Seiten geholt werden; eine Handvoll echter Fragen im Dienst zeigt, ob die eigene Seite genannt wird. Beides zusammen dauert eine Stunde und ersetzt jede Vermutung.
Was daneben steht
Die Datei für maschinelle Leser, siehe llms.txt. Sie ist ein Vorschlag und keine Norm, und ihre Wirkung ist bislang gering; Aufwand und Nutzen stehen in einem Verhältnis, das eine Entscheidung leicht macht.
Warum die Prüfung im Protokoll wichtig ist
Weil Ankündigungen und Verhalten auseinanderfallen können. Was ein Anbieter über seine Crawler schreibt, ist das eine; welche Abrufe tatsächlich eintreffen, steht im eigenen Protokoll und ist die einzige belastbare Quelle.