ClaudeBot ist der Crawler von Anthropic, der Webseiten abruft. Wie bei anderen Anbietern gibt es getrennte Kennungen für unterschiedliche Zwecke, und sie lassen sich einzeln steuern.
- ClaudeBot
Der Crawler von Anthropic, der Webseiten für Training und Abruf durch Claude sammelt.
Beispiel: „Im Serverprotokoll stand ClaudeBot mit 400 Abrufen am Tag, überwiegend auf Glossarseiten.“Gesteuert wird er über die Datei robots.txt mit seiner Kennung. Das ist eine Bitte und keine technische Sperre, die großen Anbieter halten sich jedoch daran.
Zu unterscheiden ist das Sammeln für Training vom Abruf während einer Antwort auf eine Nutzerfrage; dafür gibt es eigene Kennungen.
Was eine Sperre bewirkt
Je nach Kennung Verschiedenes. Wer das Sammeln für Training sperrt, bleibt in Antworten sichtbar, die auf einem Abruf beruhen; wer den Abruf sperrt, verschwindet aus diesen Antworten. Eine pauschale Sperre bewirkt beides und ist selten gewollt.
Wie man die Entscheidung trifft
Nach dem Geschäftsmodell. Wer von Sichtbarkeit lebt, hält den Abruf offen und entscheidet über das Training gesondert; wer Inhalte verkauft, sperrt breiter. Die Entscheidung gehört dokumentiert und zusätzlich rechtlich abgesichert, siehe Text- und Data-Mining-Vorbehalt.
Was im Serverprotokoll zu sehen ist
Welche Seiten tatsächlich geholt werden. Das ist die einzige verlässliche Auskunft darüber, ob und wie die eigene Seite in diesem Kanal vorkommt. In unseren Projekten war das Ergebnis regelmäßig überraschend: Geholt werden Übersichten und Fachseiten, nicht die Leistungsseiten.
Was bei der Einrichtung schiefgeht
Tippfehler und falsche Reihenfolge. Eine Regel in der Datei wirkt nur mit der genauen Kennung, und allgemeine Regeln können spätere überschreiben. Nach jeder Änderung gehört ein Blick ins Serverprotokoll, ob sie greift.