A/B-Test mit wenig Traffic: was geht und was nicht

Ein A/B-Test vergleicht zwei Varianten einer Seite an echten Besuchern und zeigt, welche mehr Anfragen bringt. Das klingt nach dem idealen Werkzeug für jede Website. Für die meisten KMU-Websites ist es das nicht, weil die nötige Menge an Besuchern schlicht fehlt. Dieser Artikel rechnet offen vor, wie viele es braucht, und zeigt, was du stattdessen tun kannst.

Warum wenig Traffic das Problem ist

Was ein A/B-Test ist, erklärt unser Glossarbegriff A/B-Testing. Hier geht es um die Frage, die dort zu kurz kommt: Wie viele Besucher braucht der Test, bevor das Ergebnis mehr ist als Zufall?

Der Kern des Problems ist, dass ein A/B-Test nicht Besucher vergleicht, sondern Ereignisse. Wenn von hundert Besuchern zwei eine Anfrage schicken, liefert ein Monat mit tausend Besuchern zwanzig Anfragen. Teilst du diesen Monat auf zwei Varianten auf, stehen zehn Anfragen gegen zehn. Ob eine Variante zwölf und die andere acht bekommt, ist bei so kleinen Zahlen fast reiner Zufall. Erst bei Hunderten von Anfragen je Variante werden kleine Unterschiede sichtbar.

Hinzu kommt: Viele Testwerkzeuge zeigen schon nach wenigen Tagen einen «Gewinner» mit Prozentangabe an. Das wirkt wissenschaftlich, ist bei kleinen Zahlen aber oft eine Momentaufnahme, die sich eine Woche später umdreht.

Die Rechnung: wie viele Besucher ein Test braucht

Für eine erste Einschätzung reicht eine Faustregel, die Evan Miller in seinem viel zitierten Text zu A/B-Tests nennt: n = 16 × σ² ÷ δ². Dabei ist n die Zahl der Besucher je Variante, δ der kleinste Unterschied, den du nachweisen willst, und σ² die Streuung. Für eine Conversion-Rate p ist die Streuung p × (1 − p). Die Faustregel entspricht den üblichen Einstellungen eines Tests; ein Online-Rechner liefert genauere Werte, aber selten grundlegend andere.

Die Zahlen im Beispiel sind konstruiert und bewusst gewöhnlich gewählt: eine Conversion-Rate von 2 Prozent, also zwei Anfragen auf hundert Besucher, und 1'500 Besucher im Monat. Der gesuchte Unterschied ist ein Viertel mehr Anfragen, also von 2,0 auf 2,5 Prozent. Das ergibt δ = 0,005 und je Variante 16 × 0,0196 ÷ 0,000025 = 12'544 Besucher. Bei 1'500 Besuchern im Monat dauert der Test rund 17 Monate. In dieser Zeit ändern sich Saison, Angebot und Konkurrenz so stark, dass das Ergebnis kaum mehr etwas über den Knopftext aussagt.

Die Balken zeigen das eigentliche Gesetz dahinter: Halbiert sich der gesuchte Unterschied, vervierfacht sich die nötige Stichprobe. Kleine Verbesserungen sind deshalb auf kleinen Websites nicht nachweisbar, grosse schon eher. Genau daraus ergeben sich die Alternativen weiter unten.

Der häufigste Fehler: zu früh hinschauen

Selbst wenn die Besucherzahl reicht, scheitern viele Tests an einer Gewohnheit: Man schaut täglich nach und stoppt, sobald eine Variante «signifikant» vorne liegt. Evan Miller zeigt in seinem Text, dass wiederholtes Prüfen die Zahl der Zufallssieger stark erhöht. Wer zehnmal hinschaut, landet laut seiner Rechnung bei einer angezeigten Signifikanz von 1 Prozent tatsächlich bei etwa 5 Prozent Fehlalarm.

Die Regel daraus ist einfach: Stichprobengrösse vor dem Start festlegen, den Test bis dahin laufen lassen und erst dann auswerten. Wer zwischendurch eingreifen will, braucht Verfahren, die dafür gebaut sind, sogenannte sequenzielle Tests. Für die meisten KMU ist das zu viel Aufwand für zu wenig Daten.

Vier Wege, die mit wenig Traffic funktionieren

Wenig Traffic heisst nicht, dass du raten musst. Es heisst, dass du anders entscheiden musst. Welcher Weg passt, hängt davon ab, was du ändern willst und wo du Daten bekommst.

Grosse Änderungen statt kleiner

Einen anderen Knopftext gegen den alten zu testen, ist auf einer kleinen Website meist aussichtslos. Ein grundsätzlich anderer Aufbau der Seite, etwa mit Preisspanne oben statt ganz unten, kann dagegen einen Unterschied erzeugen, der gross genug ist, um ihn in vertretbarer Zeit zu sehen. Der Preis dafür: Du weisst am Ende, dass die neue Seite besser ist, aber nicht, welcher Teil es war. Für ein KMU ist das meistens die nützlichere Antwort.

Zwischenziele messen

Zwischen Besuch und Anfrage liegen Schritte, die viel häufiger vorkommen: der Klick auf den Anfrageknopf, das Öffnen des Formulars, der Klick auf die Telefonnummer. Weil diese Ereignisse häufiger sind, braucht ein Test darauf eine kleinere Stichprobe. Wichtig ist, die Anfragen trotzdem mitzuzählen. Ein Knopf, der mehr Klicks holt, aber Leute ins Formular lockt, die dann abbrechen, ist kein Gewinn. Welche Ereignisse sich als Ziel eignen, beschreibt der Beitrag Conversion-Tracking für KMU: Ziele richtig festlegen, und wie man sie technisch sauber erfasst, unsere Seite zum Conversion-Tracking.

Dort testen, wo Volumen ist

Anzeigen sehen oft viel mehr Menschen als die Website. Zwei Anzeigentexte mit unterschiedlichen Versprechen («Richtpreis in 24 Stunden» gegen «Festpreis nach Besichtigung») zeigen schneller, welche Botschaft mehr Klicks bekommt. Die bessere Botschaft übernimmst du dann auf die Seite. In Google Ads lassen sich solche Varianten direkt im Konto vergleichen. Auch Betreffzeilen eines Newsletters mit genug Empfängern sind ein guter Testort.

Nutzertests und Vorher-Nachher

Wenn nichts davon passt, bleibt der Weg, der auf jeder Website funktioniert: Menschen zuschauen. Die Nielsen Norman Group empfiehlt seit Jahren, mit kleinen Gruppen von etwa fünf Personen zu testen und lieber öfter. Bitte fünf Personen aus deiner ZielgruppeEine Zielgruppe ist die Gruppe von Menschen oder Unternehmen, die ein Angebot erreichen soll, beschrieben anhand gemeinsamer Merkmale wie Ort, Branche,…Mehr erfahren →, auf deiner Seite eine Offerte anzufragen, und schau zu, ohne zu helfen. Wo drei von fünf hängen bleiben, liegt ein Problem, für das du keine Statistik brauchst. Danach änderst du genau diese Stelle und vergleichst die Anfragen der nächsten Wochen mit denen davor. Was als Zwischenschritt zählt, erklärt das Glossar unter Micro-Conversion als Zwischenziel.

Vorher-Nachher richtig machen

Ein Vorher-Nachher-Vergleich ist kein A/B-Test, weil die Zeiträume verschieden sind. Er wird aber deutlich verlässlicher, wenn du dich an ein paar Regeln hältst.

Zwei Dinge machen den Vergleich wertlos: wenn in der Nachher-Phase gleichzeitig eine Werbekampagne startet, und wenn du die Zeiträume so wählst, dass das gewünschte Ergebnis herauskommt. Notiere deshalb vor der Änderung, welchen Zeitraum du vergleichen wirst. Und vergleiche, wo möglich, mit dem gleichen Zeitraum im Vorjahr, damit die Saison sichtbar wird.

Eine Hypothese aufschreiben, bevor du etwas änderst

Egal welchen der vier Wege du wählst: Schreib vor der Änderung einen Satz auf, was du erwartest und warum. Das klingt nach Formalität, verhindert aber den häufigsten Denkfehler kleiner Tests, nämlich im Nachhinein eine Erklärung für jedes Ergebnis zu finden. Eine brauchbare Hypothese hat drei Teile: was du änderst, was du erwartest und woran du es misst.

Ein Beispiel: «Wenn wir die Preisspanne direkt unter die Überschrift der Leistungsseite stellen, klicken mehr Besucher auf ‹Offerte anfragen›, weil die wichtigste Frage früher beantwortet ist. Wir messen die Klicks auf den Knopf über acht Wochen und vergleichen mit den acht Wochen davor.» Dieser Satz legt das Ziel, die Begründung und den Zeitraum fest. Wenn das Ergebnis danach anders ausfällt, hast du trotzdem etwas gelernt: Die Begründung stimmte nicht, oder die Preisspanne war nicht die Frage, die Besucher aufgehalten hat.

Halte die Hypothesen und Ergebnisse in einer einfachen Liste fest, mit Datum, Änderung und Ergebnis. Nach einem Jahr hast du eine Sammlung von Erkenntnissen über deine Kunden, die kein Werkzeug liefert.

Was du über Testwerkzeuge wissen solltest

Viele A/B-Test-Werkzeuge tauschen Inhalte erst im Browser des Besuchers aus. Das kann dazu führen, dass für einen kurzen Moment die alte Variante aufblitzt, bevor die neue erscheint, und es verlangsamt das Laden. Ausserdem setzen viele dieser Werkzeuge CookiesCookies sind kleine Textdateien, die eine Website im Browser der Besucher speichert, um sie bei späteren Aufrufen wiederzuerkennen — etwa für einen Login,…Mehr erfahren →, um einen Besucher wiederzuerkennen; das gehört in die DatenschutzerklärungEine Datenschutzerklärung informiert Besucherinnen und Besucher einer Website darüber, welche Personendaten zu welchem Zweck bearbeitet werden, an wen sie…Mehr erfahren →. Auf einer kleinen Website mit wenig Traffic steht dieser Aufwand selten im Verhältnis zum Nutzen. Eine Änderung direkt in der Seite und eine saubere Messung davor und danach sind oft die ehrlichere Lösung.

Was du als Erstes verbessern solltest

Bevor du überhaupt über Tests nachdenkst, lohnt der Blick auf die offensichtlichen Hindernisse. Ein Formular, das auf dem Handy nicht funktioniert, braucht keinen Test, sondern eine Reparatur. Dasselbe gilt für einen Anfrageknopf, der erst ganz unten auf der Seite steht, oder eine Seite, die mehrere Sekunden lädt. Unser UX-Audit-Leitfaden hilft, solche Stellen systematisch zu finden.

Danach sind die Knopftexte dran: Wie du sie formulierst, zeigen die 20 Beispiele für Call to Actions. Und was auf der Startseite ganz oben stehen muss, beschreibt der Beitrag Startseite aufbauen: was in den ersten Bildschirm gehört. Wer alle diese Schritte gemeinsam angehen will, findet den Rahmen dafür bei der Conversion-Optimierung; geht es um neue Abläufe auf der Seite, ist es eine Frage der UX-Gestaltung.