Оптимизация на базе машинного обучения по сравнению с A/B тестированием

Read the full transcript

Будучи компанией, основанной на данных, мы зациклены на А/В тестировании. Мы тестируем всё, что мы делаем. Однако, важно осознавать ограничения А/В тестирования. В первую очередь, если Вы просто проводите А/В тестирование для всей аудитории одновременно, Вы вообще-то оптимизируете для среднего пользователя смету-на-смету, но что подразумевается под средним пользователем? У Вас имеются постоянные покупатели. У Вас имеются новые посетители. К Вам приходят люди из акции Google. К Вам приходят люди через Ваше приложение. Таким образом, мы связываем технологию А/В тестирования вплотную со стратегией сегментации. Но существует ограничение количества сегментов, которыми можно управлять, будучи человеком, до того, как станет слишком сложно; и поэтому мы ввели автоматизированную оптимизацию. Что вообще-то означает, что мы используем доставку рекламы в качестве методов для изменения опыта на сайте. Таким образом, на сегодняшний день наши клиенты вместо простого А/В тестирования пяти разных баннеров или пяти разных девизов просто создают все эти варианты и загружают их на Dynamic Yield, и мы принимаем решение, основанное на машинном обучении в реальном времени, о том, какой вариант показывать каждому отдельному пользователю на основании всех данных, имеющихся у нас об этом пользователе, будь то данные первого лица или данные третьего лица. Ещё одно большое преимущество оптимизации в отличие от А/В тестирования заключается в продолжительности теста. Когда дело касается запуска, экспериментирования с событиями в реальном времени для праздника или возвращения в школу, вместо проведения А/В теста выбирают автоматизированную оптимизацию. И именно здесь находят своё применение алгоритмы машинного обучения, и они начинают прогнозировать, что нам следует показывать каждому индивидуальному пользователю, чтобы получить максимальную прибыль. И затем мы сохраняем контрольную группу, и после праздников Вы увидите, ох, мой механизм оптимизации создал на 10% больше, чем моя контрольная группа, то есть, тот вариант, который у меня был до начала теста. Таким образом, идея использования машинного обучения и оптимизации в реальном времени в отличие от А/В тестирования является очень важной для всего кратковременного.

Даже управляемая на основе анализа данных компания может осознавать ограничения, накладываемые A/B тестированием. Ввиду ограниченных человеческих возможностей, технология машинного обучения, возможно, является единственным инструментом, позволяющим значительно расширить эффект воздействия ваших экспериментов.