A/B-Testing: Definition, Bedeutung & Beispiele im Direktmarketing

Was ist A/B-Testing? — Einfach erklärt

A/B-Testing ist eine datenbasierte Testmethode, bei der zwei Varianten eines Werbemittels an vergleichbare, zufällig aufgeteilte Empfängergruppen gesendet werden. Variante A ist die „Kontrolle" (das bewährte Original), Variante B die „Variation" (die Abwandlung mit genau einer Änderung). Durch den Vergleich der Ergebnisse — Response-Rate, Conversion-Rate oder ROAS — lässt sich datenbasiert feststellen, welche Variante besser funktioniert. Das entscheidende Prinzip: Es wird nur eine einzige Variable verändert, damit die Wirkung der Änderung kausal zugeordnet werden kann.

Die Methode hat tiefe Wurzeln. Der britische Statistiker Ronald A. Fisher entwickelte in den 1920er Jahren an der Rothamsted Experimental Station die Grundlagen der modernen Versuchsplanung — einschließlich Randomisierung, Varianzanalyse und dem heute üblichen 5-Prozent-Signifikanzniveau. Fast zeitgleich beschrieb der amerikanische Werbepionier Claude Hopkins in seinem Buch „Scientific Advertising" (1923) erstmals systematisches Split-Testing in der Werbung: Er verschickte verschiedene Versionen von Direktmailings an vergleichbare Gruppen und wertete die Rückläufe über kodierte Gutscheincoupons aus. Hopkins' Grundsatz gilt bis heute: Keine Kampagne ohne Test.

Im Direktmarketing ist A/B-Testing seit den 1960er Jahren die Standardmethode zur Kampagnenoptimierung. Die jährliche CMC Print-Mailing-Studie der Deutschen Post — die größte Benchmark-Studie für Postwerbung im DACH-Raum — basiert im Kern auf A/B-Tests: Jedes Jahr testen über 40 Online-Händler verschiedene Kampagnenvarianten an über einer Million Empfänger, um messbare Erkenntnisse über Gutscheine, Formate, Responseverstärker und Gestaltung zu gewinnen.

Was kann in der Postwerbung getestet werden?

Die Bandbreite testbarer Elemente in der Postwerbung ist groß — und nicht alle haben den gleichen Einfluss auf das Ergebnis. Den größten Hebel bieten die Zielgruppe (welche Empfänger angeschrieben werden) und das Angebot (Art und Höhe des Gutscheins oder Rabatts). Erst danach folgen Format, Gestaltung und Details wie Umschlagdesign oder Responseverstärker. Wer begrenzte Testbudgets hat, sollte daher mit den wirkungsstärksten Variablen beginnen.

Die CMC-Studien bestätigen diese Priorisierung eindrucksvoll. Die CMC-Studie 2024 testete fünf verschiedene Gutschein-Mechaniken und fand massive Unterschiede: Der unlimitierte Gutschein erzielte langfristig die höchste CVR von 5,4 Prozent, während zeitlich und mengenmäßig begrenzte Varianten zwar kurzfristig stärker waren (bis zu +58 Prozent in der ersten Woche), aber über den Gesamtzeitraum mit nur 3,6 Prozent CVR deutlich abfielen. Im Gegensatz dazu zeigte die CMC-Studie 2025, dass die Umschlaggestaltung im B2C-Bereich keinen signifikanten Einfluss auf die Conversion hatte — alle vier getesteten Varianten performten nahezu gleich.

Diese Erkenntnis ist für die Testplanung entscheidend: Man sollte seine Testressourcen auf die Variablen konzentrieren, die den größten erwarteten Effekt haben — und nicht auf Designdetails, die kaum messbare Unterschiede erzeugen. Die CMC-Studie 2022 untermauert das: Prozentuale Gutscheine erzielten 23 Prozent höhere CVR als Euro-Gutscheine, und hochwertige Gutscheine übertrafen niedrigwertige um 61 Prozent. Solche Unterschiede beim Angebot sind um ein Vielfaches größer als Designvariationen.

Praxisbeispiele aus den CMC-Studien

Die CMC Print-Mailing-Studien liefern Jahr für Jahr die größten A/B-Tests der Postwerbung im deutschsprachigen Raum. Seit 2018 haben über 40 Online-Händler jährlich mehr als eine Million Print-Mailings an Bestandskunden versendet, wobei jede Ausgabe ein spezifisches A/B-Test-Fokusthema hat. Die Ergebnisse sind für die gesamte Branche richtungsweisend.

Die CMC-Studie 2023 testete vier Responseverstärker gegeneinander: eine beiliegende Gutscheinkarte, einen gedruckten Gutscheincode, einen QR-Code und ein Rubbelfeld. Das Ergebnis war eindeutig: Die physische Gutscheinkarte erzielte mit 6,1 Prozent CVR den besten Wert — 33 Prozent mehr als das Rubbelfeld (4,6 Prozent). Der gedruckte Gutscheincode lag mit 5,5 Prozent knapp dahinter. Insgesamt besuchten rund 20 Prozent der Mailing-Empfänger den beworbenen Online-Shop, wobei über 70 Prozent der Besuche in den ersten zwei Wochen erfolgten. Die Studie 2020 testete Formate: Der klassische Werbebrief übertraf Maxi-Postkarten und Selfmailer um rund 25 Prozent in der CVR und erzielte einen um 42 Prozent höheren ROAS als der Selfmailer.

Ein besonders aufschlussreiches Ergebnis lieferte die CMC-Studie 2024 zur Gutschein-Limitierung: Zeitlich und mengenmäßig begrenzte Gutscheine trieben die kurzfristigen Responses massiv nach oben (+38 Prozent für 3-Wochen-Frist, +58 Prozent für Mengenbegrenzung), verloren aber langfristig gegen den unlimitierten Gutschein. Für kurzfristige Abverkaufsaktionen sind Limitierungen also wirksam, für die langfristige Bestandskundenaktivierung dagegen kontraproduktiv. Dieses Ergebnis wäre ohne systematisches A/B-Testing nicht erkennbar gewesen — das Bauchgefühl hätte vermutlich die limitierte Variante bevorzugt.

Methodik — So funktioniert ein A/B-Test im Direktmailing

Ein methodisch sauberer A/B-Test in der Postwerbung folgt einem klaren Ablauf. Am Anfang steht die Hypothese: „Ein 15%-Gutschein mit 3-Wochen-Frist erzielt eine höhere CVR als einer ohne Frist." Danach wird die Empfängerliste zufällig in zwei gleich große Gruppen aufgeteilt — die Kontrollgruppe erhält das bewährte Mailing, die Testgruppe die Variante mit genau einer Änderung. Alle anderen Faktoren (Zeitpunkt, Zielgruppe, restliches Design) bleiben identisch. Beide Varianten werden am selben Tag verschickt.

Die kritische Frage ist die Stichprobengröße: Jede Testvariante braucht genügend Empfänger, um statistisch belastbare Ergebnisse zu liefern. Die Faustregel lautet: Die Stichprobe sollte groß genug sein, um mindestens 100 Responses pro Variante zu generieren. Bei einer erwarteten Response-Rate von 2 Prozent sind das mindestens 5.000 Empfänger pro Variante — bei 1 Prozent mindestens 10.000. Das angestrebte Konfidenzniveau liegt üblicherweise bei 95 Prozent (p < 0,05), was bedeutet, dass die Wahrscheinlichkeit eines Zufallsergebnisses unter 5 Prozent liegt.

Besonders wichtig im Unterschied zu digitalen Tests ist das Beobachtungsfenster: Die CMC-Studien zeigen, dass bei Print-Mailings rund die Hälfte aller Bestellungen erst ab Woche fünf nach Versand eingehen. Wer seinen Test nach zwei Wochen auswertet, erfasst nur einen Bruchteil der Wirkung und riskiert Fehlentscheidungen. Empfohlen wird ein Beobachtungszeitraum von mindestens sechs bis acht Wochen nach Versand. Erst dann kann die Gewinnervariante identifiziert und zur neuen „Kontrolle" hochskaliert werden — der nächste Test testet dann ein neues Element gegen diese neue Referenz.

Häufige Fehler beim A/B-Testing

Auch bei erfahrenen Marketern schleichen sich methodische Fehler ein, die A/B-Tests entwerten können. Der häufigste Fehler ist, mehrere Variablen gleichzeitig zu ändern — etwa Gutscheinhöhe, Headline und Design in einer Variante. In diesem Fall lässt sich nicht mehr feststellen, welche Änderung das Ergebnis beeinflusst hat. Das „One-Variable-at-a-Time"-Prinzip (OVAT) ist daher die wichtigste methodische Grundregel.

Ein ebenso verbreiteter Fehler ist die zu kleine Stichprobe. Wer nur 500 Empfänger pro Variante testet, erhält bei einer Response-Rate von 2 Prozent nur 10 Responses — viel zu wenig für statistisch signifikante Aussagen. Der beobachtete Unterschied könnte reiner Zufall sein. Auch die vorzeitige Auswertung ist ein typischer Fehler: Bei Print-Mailings kommen die Hälfte der Bestellungen erst nach Wochen. Wer nach zwei Wochen entscheidet, trifft möglicherweise die falsche Wahl. Weitere häufige Fehler sind ungleiche Testgruppen (nicht zufällig aufgeteilt), fehlendes Tracking (keine individuellen Codes) und die Übernahme von Ergebnissen ohne Signifikanzprüfung.

A/B-Testing mit AutoLetter

AutoLetter macht A/B-Testing in der Postwerbung einfach und zugänglich. Statt aufwändige Testdesigns mit klassischen Lettershops abzustimmen, können Unternehmen ihre Kampagnenvarianten online konfigurieren und an zufällig aufgeteilte Empfängergruppen versenden lassen — mit integriertem Response-Tracking für eine saubere Erfolgsmessung. So lassen sich Hypothesen zu Angebot, Gestaltung oder Personalisierung datenbasiert überprüfen, ohne den Testprozess manuell koordinieren zu müssen.

Gerade für Unternehmen, die ihre Postwerbung systematisch optimieren wollen, bietet AutoLetter den entscheidenden Vorteil: kürzere Zyklen zwischen Test und Rollout, transparente Kostenübersicht pro Variante und messbare Ergebnisse als Grundlage für die nächste Kampagne. Jeder Test macht die folgende Kampagne besser — ganz im Sinne von Claude Hopkins' Grundsatz: Keine Kampagne ohne Test.