Ein automatisierter Test in der Pipeline ist ein Test, der bei jeder Änderung selbsttätig läuft und das Ausrollen anhalten kann. Er ist die Stelle, an der aus einer Absicht eine Zusage wird.
- Automatisierter Test in der Pipeline
Ein Test, der bei jeder Änderung selbsttätig läuft und das Ausrollen anhalten kann.
Beispiel: „Der automatisierte Test in der Pipeline hielt den Stand an, weil ein Formular keine E-Mail mehr verschickte.“Üblich sind drei Ebenen: der Test einer einzelnen Funktion, der Test mehrerer Teile im Zusammenspiel und der Test durch die Oberfläche im Browser.
Abgrenzung zum Smoke Testing: Dieses prüft nach dem Ausrollen, ob die wichtigsten Seiten laufen. Der Test in der Pipeline läuft davor.
Was ein automatisierter Test in der Pipeline leisten muss
Verlässlich bei derselben Eingabe dasselbe Ergebnis liefern, in überschaubarer Zeit durchlaufen und bei einem Fehlschlag sagen, was nicht stimmt. Ein Test, der nur rot leuchtet, kostet mehr Zeit als er spart.
Dazu gehört die Härte: Ein roter Test hält die Änderung an, auch wenn es eilig ist. Alles andere macht die Prüfung zur Dekoration.
Welche Tests in welche Stufe gehören
Die schnellen zuerst. Tests einzelner Funktionen laufen in Sekunden und gehören in die erste Stufe; Tests mit Datenbank in die zweite; Tests durch den Browser sind langsam und laufen parallel oder nach dem Ausrollen auf der Testumgebung.
Die Zahl folgt derselben Ordnung: viele kleine, einige mittlere, wenige große. Wer es umdreht, wartet bei jedem Push eine Viertelstunde.
Warum ein wackliger Test schlimmer ist als keiner
Weil er das Vertrauen in die ganze Prüfung aufbraucht. Fällt ein Test jeden fünften Lauf ohne Grund durch, startet das Team ihn eben neu, und am Tag darauf wird ein echter Fehlschlag genauso behandelt.
Deshalb ist ein solcher Test eine Aufgabe und kein Geräusch: Ursache suchen, Zeitabhängigkeit oder gemeinsamen Zustand beseitigen, und wenn das nicht gelingt, den Test entfernen und den Verlust notieren.