Optimisation du Machine Learning vs. Test A/B

Read the full transcript

En tant que société axée sur les données, nous sommes obsédés par le test A/B. Nous effectuons des tests A/B pour tout ce que nous faisons. Cependant, il est important de reconnaître les limites des tests A/B. Tout d’abord, si vous effectuez uniquement des tests A/B pour l’ensemble de votre public simultanément, Vous optimisez essentiellement pour entre guillemets l’utilisateur moyen, mais qu’est-ce que l’utilisateur moyen ? Vous avez vos clients habituels. Vous avez des visiteurs qui viennent pour la première fois. Vous avez des personnes qui viennent d’une campagne Google. Vous avez des personnes qui viennent via votre application. Donc nous relions la technologie du test A/B étroitement à la stratégie de segmentation. Mais il y a une limite à la quantité de segments que vous pouvez gérer en tant qu’être humain avant qu’elle devienne trop compliquée et c’est pourquoi nous avons introduit l’optimisation automatisée. Ce qui signifie fondamentalement que nous utilisons une diffusion d’annonces comme des techniques pour changer l’expérience sur le terrain. Donc ce que font nos clients aujourd’hui c’est, qu’au lieu d’effectuer uniquement un test A/B de cinq différents bandeaux publicitaires ou cinq différents call to action, ils créent uniquement ces variations et ils les téléchargent sur Dynamic Yield et nous prenons une décision en temps réel axée sur l’apprentissage automatique sur le type de variation à montrer à chaque utilisateur individuel basé sur toutes les données dont nous disposons sur cet individu que ce soit des données de premier niveau ou des données tiers. L’autre gros avantage de l’optimisation par rapport au test A/B est la durée du test. Quand il s’agit d’exécuter, de faire l’expérience d’évènements en temps réel pour des fêtes ou à l’image d’une rentrée scolaire. Au lieu d’effectuer un test A/B, Ils optent pour l’optimisation automatisée. Et c’est là où les algorithmes de l’apprentissage automatique rentrent en jeu et ils commencent à prédire pour chaque utilisateur individuel ce que l’on devrait leur montrer afin de maximiser les revenus. Et nous gardons un groupe témoin et une fois que les fêtes sont terminées, vous pouvez voir, oh le mécanisme de mon optimisation a généré 10 % de plus que mon groupe témoin qui était la variation que j’avais avant de commencer le test. Donc, l’idée d’utiliser l’apprentissage automatique et l’optimisation en temps réel par rapport au test A/B est très important pour tout ce qui est de courte durée.

Une entreprise pourrait avoir une politique basée sur l’échange de données et reconnaitre les limites du test A/B. Le logiciel machine learning peut s’avérer nécessaire si vous souhaitez fructifier davantage vos efforts vu les limites humaines.