A/B-Tests im Marketing richtig durchführen: Der Leitfaden, den du wirklich brauchst

Stell dir vor: Du sitzt im Team-Meeting, jemand fragt nach der neuen Landingpage, und statt einer Meinung hast du plötzlich Daten. Zahlen. Ein klares Ergebnis, das sagt: „Version B hat 23 Prozent mehr Anmeldungen gebracht.“ Genau dieses Gefühl – dieses angenehme Rauschen von Evidenz statt Bauchgefühl – ist der Grund, warum A/B-Tests im Marketing so mächtig sind. Und mit dem anhaltenden Hype um KI-generierte Inhalte, personalisierte Customer Journeys und datengetriebene Entscheidungen hat das Thema gerade wieder so viel Relevanz wie lange nicht.

Doch Vorsicht: Ein A/B-Test ist kein Zaubertrick. Falsch aufgesetzt, liefert er dir schöne Zahlen, die im Alltag niemandem helfen – oder Schlimmeres: Er führt dich aktiv in die Irre. Damit dir das nicht passiert, zeige ich dir, wie du Tests aufsetzt, die wirklich aussagekräftig sind. Von der Hypothese über die statistische Signifikanz bis zum typischen Anfängerfehler, der fast jeden ersten Test ruiniert.

Was ist ein A/B-Test überhaupt – und was nicht?

Kurz und schmerzlos: Beim A/B-Test zeigst du zwei Varianten einer Seite, eines Mails oder eines Banners. Variante A (die Kontrolle), Variante B (die Variante). Besucher werden nach dem Zufallsprinzip aufgeteilt, und am Ende schaust du, welche Variante das gewünschte Ziel – Klick, Kauf, Anmeldung, was auch immer – besser erreicht.

Was ein A/B-Test nicht ist: ein Werkzeug, um einfach nur „mal etwas auszuprobieren“. Wer testet, ohne eine klare Frage zu haben, bekommt Antworten auf Fragen, die keiner gestellt hat.

Der Anfang ist die Hypothese

Der häufigste Fehler? Direkt loslegen. Keine Fragestellung, keine Erwartung, kein Plan. Dabei ist die Hypothese das Fundament, auf dem jeder gute Test steht. Eine brauchbare Hypothese folgt diesem Muster:

Wenn ich [Element] in [Variante B] zu [Variante A] ändere,
dann [erwartetes Ergebnis],
weil [Grund aus Daten oder Nutzerforschung].

Konkret könnte das so aussehen:

Wenn ich den Call-to-Action-Button von „Mehr erfahren“ in „Kostenlos starten“ ändere, dann steigt die Klickrate auf den Button, weil der neue Text klarer kommuniziert, was der Nutzer bekommt – und Kostenlos-Sagen reduziert die gefühlte Einstiegshürde.

Klingt banal? Ist es auch. Genau darum funktioniert es. Eine gute Hypothese zwingt dich, darüber nachzudenken, warum etwas funktionieren könnte – und sie macht das Ergebnis später interpretierbar.

Größe zählt: So findest du die richtige Stichprobe

Hier wird es mathematisch – aber keine Sorge, es bleibt erträglich. Damit ein Test Ergebnis sagt, braucht er genug Daten. Testest du mit zu wenigen Besuchern, läuft dein Test ewig oder endet vorzeitig mit einem Ergebnis, das nur Rauschen ist. Die drei Zutaten, die du brauchst:

Baseline-Conversion-Rate: Wie gut konvertiert deine aktuelle Version?
Minimaler Effekt, den du entdecken willst: Wieviel Verbesserung ist dir die Arbeit wert? Oft 5–10 Prozent.
Statistische Power und Signifikanzniveau: Standard sind 80 Prozent Power und ein Signifikanzniveau von 5 Prozent.

Statt im Excel-Sheet zu wühlen, gibt es für sowas praktische Rechner. Willst du es selbst nachbauen, geht das mit einem kleinen Skript ziemlich elegant:

from statsmodels.stats.power import tt_ind_solve_power
from math import ceil

alpha = 0.05        # Signifikanzniveau
power = 0.80        # angestrebte Power
effect = 0.05       # erwarteter Effekt (5 %)

n = tt_ind_solve_power(
    effect_size=effect,
    alpha=alpha,
    power=power,
    alternative="two-sided",
)

print(f"Mindestens {ceil(n)} Besucher pro Variante")
print(f"Gesamt: {ceil(n) * 2} Besucher")

Nein, du musst das nicht auswendig lernen. Aber du solltest wissen: Wenn ein Tool dir nach 200 Besuchern „signifikant!“ anzeigt, dann darfst du skeptisch werden.

Ein Test, eine Änderung – wirklich

Der Klassiker unter den Anfängerfehlern: Man ändert gleichzeitig die Überschrift, die Farbe des Buttons, das Bild und den Preisnachlass – und weiß danach nicht, was gewirkt hat. Das ist kein A/B-Test mehr, sondern ein A/B/C/D/E/F-Test mit unklarem Ausgang.

Faustregel: Eine Änderung pro Test. Wer mehrere Dinge gleichzeitig optimieren will, verschachtelt Tests sauber nacheinander – oder nutzt einen multivariaten Test. Der ist aber nur dann sinnvoll, wenn du genug Traffic hast. Bei einem kleinen Shop oder Blog ist er meistens rausgeworfenes Geld.

Und noch etwas, das viele übersehen: Wiederkehrende Nutzer. Wenn ein User deine Variante B gesehen hat und beim nächsten Besuch plötzlich Variante A bekommt, fühlt sich das verwirrend an – und es verfälscht deine Daten. Idealerweise bleibt jeder Nutzer während des gesamten Testzeitraums bei einer Variante. Die meisten Testtools können das. Aktiviere es.

Statistische Signifikanz: Der Moment, in dem du dich nicht verrückt machen lassen darfst

Dein Tool meldet: „A/B-Test beendet, Variante B gewinnt mit 94 Prozent Wahrscheinlichkeit!“ – und du willst sofort feiern. Moment. Wahrscheinlichkeit ist nicht dasselbe wie Gewissheit. Das Tool kann den Test nämlich nicht einfach beenden, sobald ein Ergebnis „gut aussieht“. Wer ständig auf das Zwischenergebnis schaut und den Test beim ersten vielversprechenden Ausreißer stoppt, der erhöht das Risiko eines falsch-positiven Ergebnisses massiv.

Die sauberen Regeln:

Vor dem Start: Leg die Stichprobengröße fest und lass den Test laufen, bis diese erreicht ist.
Kein Spicken: Zwischenergebnisse sind Entertainment, keine Entscheidungsgrundlage.
Dauer: Mindestens ein bis zwei volle Wochen inklusive eines kompletten Wochenendes, damit sich Wochentags- und Wochenendverhalten ausgleichen.

Für die technisch Interessierten: Im Hintergrund läuft meist ein t-Test oder ein Chi-Quadrat-Test auf einem Signifikanzniveau von 5 Prozent. Ein p-Wert unter 0,05 bedeutet: Unter der Annahme, dass es keinen echten Unterschied gibt, wäre ein so extremes Ergebnis unwahrscheinlich. Klingt kompliziert – ist es auch. Deshalb vertraue ich dem Rechner und der Vorab-Festlegung mehr als meinem Bauchgefühl.

Mehr als zwei Varianten: A/B/n und MVT

Manchmal weiß man nicht, ob der neue Text oder das neue Bild der Auslöser ist. Dann testet man eben beide Ideen gleichzeitig – als A/B/n-Test mit mehreren Varianten:

Variante A: Standard-Landingpage (Kontrolle)
Variante B: Neuer Text
Variante C: Neues Bild
Variante D: Neuer Text UND neues Bild

So siehst du nicht nur, ob sich etwas verbessert, sondern auch, was der Treiber ist. Wichtig bleibt: jede Variante bekommt den gleichen, vorab festgelegten Anteil des Traffics. Und bei multivariaten Tests, bei denen mehrere Elemente systematisch kombiniert werden, gilt wie gesagt: nur mit viel Traffic.

Die Ergebnisse interpretieren – und umsetzen

Der Test ist vorbei, das Ergebnis ist da. Was jetzt? Erst mal: nicht blind umsetzen. Schau auf den p-Wert, schau auf das Konfidenzintervall und frag dich: Ist der Effekt groß genug, um den Aufwand zu rechtfertigen? Ein Gewinn von 0,3 Prozent mag „signifikant“ sein – geschäftlich ist er oft irrelevant.

Und der spannende Fall: Der Test zeigt keinen Unterschied. Dann hast du trotzdem etwas gelernt – nämlich dass deine Intuition nicht ausreicht und dass deine Seite offenbar schon ziemlich gut ist. Das ist kein Misserfolg, das ist ein günstiges Ergebnis für ein teures Gefühl.

Wichtig ist außerdem: Ergebnisse dokumentieren. Ein Test, dessen Erkenntnis im Kopf eines einzigen Kollegen schlummert, hat nicht stattgefunden. Eine kleine Tabelle im Wiki oder im Team-Dashboard reicht:

| Test | Hypothese | Ergebnis | Entscheidung |
|------|-----------|----------|--------------|
| CTA-Text | Klarer Nutzen erhöht Klickrate | B +23 % Klicks | B ausrollen |
| Hero-Bild | Emotion statt Produkt | Kein Unterschied | A behalten |

Moderne Stolperfallen: AI-Traffic, Personalisierung und Privatsphäre

So elegant das alles klingt – 2026 hat das Testen ein paar neue Baustellen bekommen. Drei davon solltest du auf dem Schirm haben:

Bot-Traffic und KI-Agenten: Immer mehr Traffic kommt von Bots, Crawlern und KI-Agenten, die keine Menschen sind. Wer sie nicht sauber herausfiltert, testet mit Daten, die nichts mit echten Kunden zu tun haben.
Personalisierung vs. Zufall: Personalisierungs-Engines machen jedem Nutzer ein individuelles Angebot. Klingt toll – aber ein klassischer A/B-Test setzt voraus, dass die Verteilung der Nutzer auf die Varianten wirklich zufällig und sauber ist. Vermische die Systeme nicht unbedacht.
Datenschutz und Consent: Tracking-Tools brauchen Einwilligungen. In einer Welt, in der Browser Third-Party-Cookies blockieren und Consent-Manager Standard sind, wird auch das Testen anspruchsvoller. Server-seitige Tests und Privacy-freundliche Alternativen werden deshalb immer relevanter.

Wer diese Punkte ignoriert, bekommt Tests, die auf dem Papier funktionieren – und in der Realität nichts wert sind.

Der Minimal-Check vor jedem Teststart

Damit dein nächster Test nicht in der Falle landet, hier die kurze Checkliste – einmal durchgehen, dann starten:

Habe ich eine klare, überprüfbare Hypothese?
Wird wirklich nur eine Sache verändert?
Habe ich die benötigte Stichprobengröße vorab berechnet?
Ist der Test auf die echten, menschlichen Besucher beschränkt (kein Bot-Traffic)?
Kann ich den Test so lange laufen lassen, wie nötig – ohne vorher zu spicken?
Hab ich dokumentiert, wann und warum ich den Test starte?

Ein A/B-Test ist am Ende nichts anderes als ein kleines, ehrliches Gespräch mit deinen Nutzern. Du stellst eine präzise Frage, und die Daten geben dir eine ehrliche Antwort – vorausgesetzt, du hörst wirklich zu und störst das Gespräch nicht dauernd mit Bauchgefühl. Mach es richtig, und du verwandelst Marketing von einem Glücksspiel in einen Handwerksberuf. Viel Erfolg beim Testen!

A/B-Tests im Marketing richtig durchführen