e2e von tester-army: Testframework mit KI-Agent im Praxistest

Was ist e2e? Es ist ein Open-Source-Framework für End-to-End-Tests, also Tests, die eine Website oder AppEine App, kurz für Applikation oder Anwendung, ist ein Programm, das eine bestimmte Aufgabe für seine Nutzenden erledigt. Im Alltag meint man damit meist eine…Mehr erfahren → wie ein Mensch bedienen und prüfen, ob am Ende das Richtige passiert. Neu daran ist, dass man einzelne Schritte als Ziel in natürlicher Sprache schreiben kann, etwa «bestelle das Pro-Abo», und ein KI-Agent den Weg dorthin selbst findet.

Wir haben e2e installiert und einen echten Test gegen unsere eigene Live-Website geschrieben. Er navigiert nur und prüft Inhalte, er sendet kein Formular ab.

Warum e2e gerade so gefragt ist

Laut GitHub hat tester-army/e2e Stand 04.11.2026 rund 13'063 Sterne, davon 10'768 im letzten Monat. Das Repository wurde am 22.07.2026 angelegt. Auf npm ist Version 0.22.0 aktuell, dazu erscheinen täglich Nightly-Versionen.

Den Grund für den Zuwachs nennt das Projekt nicht. Belegbar ist die Idee, die viele Entwickler anspricht: End-to-End-Tests sind aufwendig zu schreiben und brechen bei jeder kleinen Änderung der Oberfläche. Laut README zeichnet e2e die Aktionen eines KI-Schritts auf und spielt sie beim nächsten Lauf ohne Modellaufruf ab, bis sich die App ändert. Das verspricht stabile Tests zu geringen Modellkosten. Geprüft haben wir das mangels Modell nicht.

So funktioniert es

Ein Test in e2e besteht aus Bausteinen, die man frei mischt:

• app: öffnet Seiten der Anwendung.
• screen und browser: finden Elemente über Rolle, Text oder Selektor, wie man es von Playwright kennt.
• agent: führt Ziele in natürlicher Sprache aus (act) oder prüft Aussagen (assert). Dafür braucht es ein Sprachmodell.
• expect: klassische Prüfungen wie «ist sichtbar» oder «enthält Text».

Jeder Lauf schreibt bei Fehlern eine Trace-Seite als Markdown-Datei mit allen Schritten, Bildschirmänderungen und Konsolenwarnungen. Mit dem Schalter für Video entsteht pro Versuch eine Aufnahme. Für Web-Tests steuert e2e einen Chromium-, Firefox- oder WebKit-Browser über Playwright, für Mobile Simulatoren und Emulatoren.

Installation

e2e verlangt Node.js 24.8 oder 22.22.3 und neuer. Wir haben ein leeres Projekt ohne KI-Anbindung angelegt und die anonyme Telemetrie abgeschaltet:

mkdir e2e-dlm && cd e2e-dlm
export E2E_TELEMETRY_DISABLED=1
npx -y e2e@0.22.0 init --yes --engine web --gateway none --skills none --mcp none --install
npx e2e run --video --trace

Beim ersten Lauf lädt e2e den Browser selbst herunter (bei uns 99 MiB). Wer KI-Schritte nutzen will, wählt bei «init» einen Anbieter, etwa ein Modell über Vercel AI Gateway, OpenRouter oder ein lokales Modell.

Unser Test

Der Test simuliert ein Handy (390 × 844 Pixel) und prüft fünf Dinge: Die Startseite lädt mit der richtigen Hauptüberschrift, das Menü öffnet sich, der Link zum Kostenrechner führt auf /rechner, die Rechner-Seite lädt, und dort ist der Preisrahmen «zwischen CHF 3'000 und CHF 25'000» sichtbar.

Bis zum grünen Lauf brauchte es fünf Anläufe, und gerade die Fehlschläge waren aufschlussreich:

1. Erster Lauf, rot: Wir suchten den Preis im Element main. Die Trace-Seite meldete klar «no node (match count 0)»: Die Rechner-Seite hat kein solches Element. Die Fehlermeldung zeigte Schritt, Zeile und Bildschirmänderungen, wir mussten nicht raten.
2. Zweiter Lauf, rot: Wir hatten eine Playwright-Methode verwendet, die in e2e anders heisst. Kleiner Stolperstein für Umsteiger.
3. Dritter Lauf, grün, aber zu leicht: Der Text stand im HTMLHTML (Hypertext Markup Language) ist die Auszeichnungssprache, mit der der Inhalt und die Struktur jeder Webseite beschrieben werden: Überschriften, Absätze,…Mehr erfahren →, also bestand der Test. Im Video sah man aber, dass die Antwort in einer zugeklappten FAQ steckte.
4. Gegenprobe: Wir prüften ausdrücklich, ob die zugeklappte Antwort «versteckt» ist. Ergebnis: Für e2e ist sie «sichtbar», weil sie unsichtbar gemacht, aber nicht entfernt wird.
5. Endfassung, grün: Der Test klappt die Frage auf und prüft zusätzlich, ob die Antwort wirklich ausgeklappt ist.

Einen KI-Schritt haben wir nur angetestet: Ohne Modell bricht er sofort mit «MODEL_UNAVAILABLE» ab, mit einer verständlichen Erklärung, was fehlt. Wie gut der Agent Ziele in natürlicher Sprache umsetzt, können wir deshalb nicht beurteilen.

Was gut war: Schnelle Einrichtung, verständliche Fehlermeldungen, Trace-Seiten als Markdown, die man auch einem Coding-Agenten zum Lesen geben kann, und Video per Schalter. Ein Test ohne KI läuft vollständig lokal.

Was nicht gut war: Einige Namen weichen von Playwright ab. Und die Sichtbarkeitsprüfung folgt der Logik des Browsers, nicht der des Menschen. Das ist kein Fehler von e2e allein, aber eine Falle, die man kennen muss.

Beispiele aus der Praxis

• Rauchtest nach jedem Deploy: Startseite, Navigation, Kontaktseite und Preise in wenigen Sekunden prüfen, ohne Formulare abzusenden.
• Shop oder Buchungsstrecke: Klassische Schritte für den stabilen Teil, ein KI-Schritt für Abläufe, deren Oberfläche sich oft ändert. Das setzt ein Modell und eine Testumgebung voraus.
• Abnahme mit dem Kunden: Videos und Trace-Seiten zeigen nachvollziehbar, was geprüft wurde.

Grenzen, Risiken, Lizenz

• Lizenz: Apache-2.0.
• Status: Laut README auf dem Weg zu 1.0, Schnittstellen können sich noch ändern.
• Datenschutz: Telemetrie ist standardmässig an, aber laut Hersteller anonym und abschaltbar. Bei KI-Schritten gehen Bildschirminhalte an das gewählte Modell; mit echten Kundendaten nur in einer Testumgebung arbeiten.
• Fremde Websites: Tests gehören auf eigene Anwendungen. Nie produktive Formulare absenden, wenn dahinter echte Datenbanken und Mails hängen.
• Kosten: Das Framework ist kostenlos. Für KI-Schritte fallen Modellkosten beim gewählten Anbieter an; Preise haben wir nicht erhoben.

Für wen lohnt sich e2e?

Für Entwicklerteams, die ohnehin End-to-End-Tests schreiben und KI-Schritte gezielt dort einsetzen wollen, wo Selektoren ständig brechen. Für einfache Rauchtests reicht auch der Teil ohne KI. Wer eine Web-AppEine Web-App ist eine Anwendung, die im Browser läuft und sich wie ein Programm bedienen lässt — mit Login, Eingaben, gespeicherten Daten und Abläufen. Anders…Mehr erfahren → mit automatisierten Tests vor jedem Livegang plant, findet bei uns Web-App-Entwicklung; wie KI-gestützte Entwicklung im Alltag aussieht, zeigt unser Bericht Claude Code in der Praxis.

Mehr Werkzeuge aus dieser Reihe: alle 20 GitHub-Trends vom November 2026.