Machine-Learning-basierte Optimierung im Vergleich mit A/B-Tests

Read the full transcript

Als datenbasiertes Unternehmen legen wir allergrößten Wert auf A/B-Tests. Wir machen für alles, was wir tun, A/B-Tests. Man muss sich jedoch die Beschränkungen von A/B-Tests bewusstmachen. Erstens, wenn man die von A/B-Tests für alle Zielgruppen gleichzeitig durchführt, dann optimiert man sozusagen für einen “Durchschnittsnutzer”, aber wer ist der Durchschnittsnutzer? Es gibt Stammkunden. Es gibt Erstkunden. Es gibt Leute, die über eine Google-Kampagne kommen. Es gibt Leute, die über die App kommen. Daher verbinden wir die Technik von A/B-Tests eng mit der Segmentierungsstrategie. Aber die Anzahl der Segmente, mit denen man als Mensch zurechtkommt, ohne dass es zu komplex wird, ist begrenzt. Daher haben wir eine automatische Optimierung eingeführt. Das bedeutet im Grunde, dass wir auf den Sites Techniken einsetzen, die dem Ad-Serving ähneln. Was unsere Kunden heute machen, ist also nicht einfach ein A/B-Test mit fünf verschiedenen Bannern oder Handlungsaufforderungen, sondern sie entwerfen viele Varianten und laden sie auf Dynamic Yield hoch. Wir treffen in Echtzeit eine auf maschinellem Lernen basierte Entscheidung darüber, welche Variante jeder einzelne Nutzer sieht. Sie basiert auf allen Daten über diese Person, sei sie vom Erstanbieter oder Drittanbieter. Der andere große Vorteil von Optimierung gegenüber A/B-Test ist die Testdauer. Wenn man mit Echtzeit-Events experimentiert, etwa einem Feiertag oder dem Beginn eines neuen Schuljahres, kann man statt eines A/B-Tests automatisch optimieren. Dann kommen die Algorithmen für maschinelles Lernen zum Tragen und geben vor, was jedem einzelnen Nutzer gezeigt werden soll, um den Umsatz zu maximieren. Wir haben eine Kontrollgruppe, und nach dem Feiertag kann man sehen, der Optimierungsmechanismus hat 10 % mehr Umsatz generiert als bei meiner Kontrollgruppe, der ich wie vor dem Test die Varianten gezeigt habe. Maschinelles Lernen und Echtzeit-Optimierung einzusetzen statt A/B-Tests ist also bei kurzlebigen Kampagnen sehr wichtig.

Ein Unternehmen kann datengesteuert sein und trotzdem die Grenzen des A/B-Tests erkennen. Angesichts menschlicher Begrenztheit kann maschinelles Lernen notwendig sein, um Ihre Experimentierversuche zu skalieren.