Pay per Crawl, wörtlich Bezahlung pro Abruf, ist ein Dienst von Cloudflare, vorgestellt am 1. Juli 2025. Website-Betreiber legen einen Preis pro Abruf fest; ein KI-Crawler zahlt ihn oder erhält den Statuscode 402 Payment Required mit der Preisangabe. Cloudflare tritt dabei als Händler gegenüber dem Crawler auf und zahlt an den Betreiber aus.
- Pay per Crawl
Ein Dienst von Cloudflare, mit dem Website-Betreiber von KI-Crawlern einen Preis pro Abruf verlangen; wer nicht zahlt, erhält den Statuscode 402.
Beispiel: „Mit Pay per Crawl verlangt der Fachverlag einen Cent pro Seite von jedem Trainings-Crawler.“Abgrenzung zum Pay per Click: Das ist ein Abrechnungsmodell für Werbeanzeigen; beide teilen nur das Wortspiel.
Abgrenzung zu Really Simple Licensing: RSL beschreibt Lizenzbedingungen offen für alle, Pay per Crawl rechnet sie über Cloudflare ab.
Wie Pay per Crawl abläuft
Der Crawler fragt eine Seite an und erhält 402 mit einem Header, der den Preis nennt. Er fragt erneut an und erklärt, diesen Preis zu zahlen, oder nennt vorab einen Höchstpreis. Dann liefert der Server die Seite mit 200 aus und vermerkt den berechneten Betrag. Der Preis gilt zunächst einheitlich für die ganze Domain, einzelne Crawler lassen sich freistellen. Damit sich niemand als zahlender Crawler ausgibt, signieren Crawler ihre Anfragen nach dem Verfahren Web Bot Auth, das die IETF noch als Entwurf berät.
Der Statuscode 402 bei Pay per Crawl
Der Statuscode 402 steht seit den ersten HTTP-Spezifikationen im Standard, ist nach RFC 9110 aber nur für künftige Nutzung reserviert. Pay per Crawl gibt ihm eine Bedeutung, die kein Standard festlegt, siehe HTTP-Statuscodes.
Stand und Alternativen
Am 16. November 2026 ist Pay per Crawl laut Cloudflare-Dokumentation weiter in einer geschlossenen Testphase und nur für Websites nutzbar, die über Cloudflare laufen. Ähnliches bieten TollBit mit einer Bezahlschranke für Bots und RSL mit dem Zahlungsmodell pro Abruf über Lizenzserver, etwa bei Fastly. Ob ein solches Signal als Vorbehalt nach § 44b UrhG gilt, ist offen.
Für die meisten Firmenwebsites liegt der Nutzen eher in der Kontrolle als im Umsatz. Antwort-Crawler, die für Zitate in KI-Antworten sorgen, setzt man besser nicht auf Bezahlung, siehe KI-Crawler.