Die lästigen Fehler beim A/B-Testen, die jeder Ingenieur kennen sollte

1. Beziehen Sie nicht betroffene Benutzer in Ihren Test ein

Der erste häufige Fehler bei A/B-Tests besteht darin, Benutzer in Ihren Test einzubeziehen, die von der Änderung, die Sie testen, nicht tatsächlich betroffen sind. Dadurch werden Ihre Testergebnisse verwässert und es wird schwieriger, die Auswirkungen Ihrer Änderungen zu bestimmen.

Angenommen, Sie testen eine neue Funktion in Ihrer App, die Benutzer für die Durchführung einer bestimmten Aktion belohnt. Sie schließen fälschlicherweise Benutzer in den Test ein, die die Aktion bereits ausgeführt haben. Da sie von der Änderung nicht betroffen sind, ändern sich die mit dieser Aktion verbundenen Statistiken nicht. Daher zeigen die Ergebnisse dieses Tests möglicherweise keine statistisch signifikante Änderung.

Um diesen Fehler zu vermeiden, stellen Sie sicher, dass Sie zunächst nicht berechtigte Benutzer in Ihrem Code herausfiltern, bevor Sie sie in Ihren Test einbeziehen. Nachfolgend finden Sie ein Beispiel dafür:

JavaScript

// Falsch. Einschließlich nicht zugewiesener Benutzer Funktion showNewChanges(user) { if (posthog.getFeatureFlag('experiment-key') === 'control') { falsch zurückgeben; if (user. hasCompletedAction) { falsch zurückgeben // andere Schecks Rückkehr wahr

JavaScript

// Richtig. Schließt nicht zugewiesene Benutzer aus Funktion showNewChanges(user) { if (user. hasCompletedAction) { falsch zurückgeben // andere Schecks if (posthog.getFeatureFlag('experiment-key') === 'control') { falsch zurückgeben; Rückkehr wahr 2. Nur aggregierte Ergebnisse anzeigen (Simpson-Paradoxon)

Es ist möglich, dass ein Test ein Ergebnis zeigt, wenn er auf aggregierter Ebene analysiert wird, aber ein anderes, wenn dieselben Daten in Untergruppen analysiert werden.

Angenommen, Sie testen eine Änderung an Ihrem Registrierungs- und Onboarding-Prozess. Die Änderung betrifft sowohl Desktop- als auch mobile Benutzer. Ihre Testergebnisse zeigen Folgendes:

Variante Besucher Konvertierungen Wechselkurs Kontrolle 5.000 500 ✖ 10 % Prüfen 5.000 1.000 ✔ 20 %

Auf den ersten Blick scheint die Testvariante der klare Sieger zu sein. Die Aufschlüsselung der Ergebnisse zwischen den Desktop- und Mobil-Untergruppen zeigt jedoch Folgendes:

Gerät Variante Besucher Konvertierungen Wechselkurs