«Искусственный интеллект» – game changer в конкуренции площадок электронной торговли? Эксперты McKincey провели в 2021 году масштабное исследование результативности e-commerce.
Согласно данным, которые получили его авторы, маркетплейсы, опережающие конкурентов в персонализации торговых предложений, получают на 40% больше прибыли, чем площадки, не достигшие в этом прогресса. Основным же способом персонализации на сегодняшний день остаются рекомендательные системы на базе нейросетей и «машинного обучения». О том, как внедрять такие системы и как они работают, мы поговорили с директором по маркетингу A&T Trade Russia, Артуром Булатовым.
Эксперт стоял у руля внедрения системы рекомендаций товаров (RS) на сайте «Музторг», крупнейшего в СНГ специализированного маркетплейса, на котором можно приобрести музыкальные инструменты и оборудование.
«Музторг» является проектом компании A&T Trade Russia. Рекомендательная система на основе AI в «Музторге» заработала в далеком 2014 году, когда в нише, да и за ее пределами, еще только появлялся интерес к таким проектам.
Рекомендательные системы – нейросетевые модули на сайтах торговых онлайн-порталов. Они используют информацию о пользователе, чтобы предложить на страницах сайта именно те товары, которые он захочет приобрести.
Артур, к каким результатам привело внедрение AI и рекомендательных систем в «Музторге»?
Ключевой результат был в том, что средний чек увеличился на 24%. Это хорошо коррелировалось с выросшим средним числом покупок в корзине онлайн-магазина – 2,4 штуки после внедрения рекомендательных алгоритмов. Выручка у нас повысилась на 30%.
Вы стояли у истоков внедрения RS-системы в «Музторге», а об RS сейчас ходит немало легенд. Рекомендации настолько точные… Люди думают, что их «подслушивают». Что лично вы знаете о покупателях музыкальных инструментов России, чего, может быть, они сами о себе не знают?
Про «подслушивают», мне кажется, это миф. Например, я знаю, что в основных веб-технологиях запрещено на уровне кода подключаться к оборудованию пользователя. В том же JavaScript, на котором пишутся UI/UX-интерфейсы и которой непосредственно взаимодействует с браузером посетителя портала, серфящего интернет, намеренно отсутствуют такие методы. Но, конечно, те, кто делают системы рекомендаций для цифровых площадок узнают многое о своих покупателях. Информация о действиях и личности пользователя, которая стекается не только из истории покупок, но и в результате скраппинга соцсетей, покупки данных у других торговых площадок стала доступнее. Отсюда и повышение эффективности рекомендаций. Если раньше рынок данных пользователя за пределами вашего сайта был неурегулированным и непонятным, то сейчас такие наборы данных для machine learning и выводов нейросетей можно даже купить в виде доступа к API некоторых структур. Например, частично информацию о действиях пользователей на Amazon можно получить из API Amazon Product Data, имеется также Retailrocket recommender system dataset – там прямо информация о транзакциях пользователей одного неназванного в API маркетплейса. Что касается нас, то мы сразу применяли при создании такой системы в «Музторге» этичные практики и пользовались только теми данными, которые разрешено получать по закону. Поэтому и я вам сейчас о пользователях могу сказать только то, что знают все специалисты по торговле музыкальными инструментами и оборудованием, даже все категорийные менеджеры маркетплейсов, я думаю. Вот, чтобы не отпускать вас ни с чем: самый популярный товар у торговых площадок, вроде нашей, это электрогитары и «примочки» к ним. На том же почти уровне по востребованности у россиян – клавишные синтезаторы. Далее по популярности идут акустические гитары и скрипки.
Как появилась идея добавить на сайт рекомендации на AI? Это было заданием от руководства?
Нет, руководство интересовало повышение среднего чека. Это та метрика, которая их действительно интересовала. Я предложил добавить рекомендательную систему, потому что изучил ситуацию и мне это показалось самым перспективным способом реализовать бизнес-цели. «Музторг» – очень серьезная структура, естественно, карточки товаров, описания, каталог сразу были и оставались на очень высоком профессиональном уровне. Что еще могло повысить эффективность? Конечно, персонализация торгового предложения!
Как выглядит реализация такого проекта? Расскажите на примере вашего проекта. Что вы посоветуете тем, кто будет реализовывать подобное в будущем?
По срокам все заняло у нас 7 месяцев. Наверное того, кому предстоит руководить таким проектом волнует вопрос: «С чего начать?». Я начал с решения вопроса о том, подключимся ли мы к уже существующим разработкам или будем делать свое. Сейчас, благодаря запросам в API от сторонних разработчиков, вы можете решать в своем коде почти любую проблему, приобретая доступ. Вопрос в эффективности этих API, которые сделаны «для любого портала», а не для вашего уникального проекта. Ведущие API для рекомендательных систем сейчас такие: Qloo, Froomle, Luigi’s Box, Algola, Crownpeak Product Discovery. В 2013-2014 на российском рынке было всего два варианта. Я создал фокус-группы, которые должны были тестировать поочередно два эти API, оценивая эффективность рекомендаций. Увы, результативность оказалась не на 100%, как я привык делать.
И вы решили делать свое?
Да, но и почти сразу столкнулись с огромными проблемами, с которыми сталкивается любой разработчик нейросетей и занимающийся их обучением на наборах данных. Знаете, Стив Джобс в свое время хорошо сказал, что покупатель не знает, чего он хочет и ждет, когда вы ему предложите то, что он у вас купит. Он умер до распространения рекомендательных систем, но это сказано как будто про них. Допустим, у вас есть данные о покупках пользователя, о том, что он ищет, но это может вовсе не означать, что у него именно такой «интент», как говорим мы, маркетологи. Он может хотеть совсем другого.
AI, нейросети, могут работать с таким? Как устроена система, которую вы создали «под капотом»?
Да, с этим мы справились. Существует множество подходов к работе с данными для того, чтобы «искусственный интеллект» мог принять обоснованное решение рекомендовать что-то покупателю. Это коллаборативная фильтрация, когда код обрабатывает просто историю покупок, историю лайков и оценок, в общем, логи действий пользователя на сайте. Есть контент-базированный подход – учет «нейронкой» совпадений в текстовых описаниях карточки и интересов пользователя в его профиле. Есть много других подходов, тот же демографический. Интересным для нас, с точки зрения наших задач стал «Подход, основанный на знаниях» (knowledge-based). При его использовании эксперты по продуктам закладывают при машинном обучении модулю рекомендаций некоторые знания относительно того, что могут хотеть пользователи, даже если это не вытекает из истории их серфинга на портале маркетплейса. Эти знания даются в готовом виде, AI из них исходит в своих оценках. Вот так мы добились более высоких результатов, чем при готовых решениях. Обычно торговые площадки в нашей сфере на основе всего двух подходов: коллаборативной фильтрации и контент-базированного подхода. В чистом виде ни один из методов не подойдет для создания хороших рекомендаций. Правит бал Hybrid, то есть гибридные техники, совмещающие разные подходы и применяющие математические методы, тот же fuzzy logic. Однако с machine learning никто не связывается в нашей музыкальной нише, потому что это сложно и дорого. Мы привлекли опытного разработчика на Apache Mahaut (библиотека машинного обучения, на которой остановили свой выбор) и вместе с другими разработчиками из «Музторга» создали RS-решение. Оно у нас состояло из трех модулей. На одном обрабатывалась различная информация о пользователе. Затем, она в сводном виде поступала в другой модуль программного обеспечения, где происходила очистка данных, сегментация по группам пользователей, препроцессинг. Часть из этого выполнялась на Python – в нем особенно много фреймворков для работы нейросетей и машинного обучения. Тот же Pandas. В третьем модуле нейросеть делает выводы и предлагает товары на основе анализа данных, также информация на этом этапе выводится не только пользователю, но и в наши BI (Business Intelligence) инструменты, чтобы мы сами узнавали больше о покупателях и могли контролировать ситуацию с машинным обучением.
С какими еще проблемами вы столкнулись в ходе реализации проекта?
Я не только все согласовывал, но и был тимлидом, то есть был в курсе всех технических препятствий, о которые мы спотыкались. Все, с чем пришлось столкнуться типично для рекомендательных систем. Так называемая проблема «холодного старта». Это когда рекомендательная система только запущена и у нее еще нет данных для нормальной работы. Проблема «длинного хвоста». Рекомендательные системы часто следуют уже сложившейся тенденции, то есть сваливаются в воронку, показывая пользователю то, что уже популярно. К счастью, благодаря машинному обучению нам удалось компенсировать эти вызовы.
Насколько рекомендательные системы ограничены законодательством? Повлияло ли это на вашу работу?
В России появляются такие законы. Есть ФЗ №149, где имеется большой раздел о рекомендательных системах. Однако они пока защищают пользовательскую информацию в самом общем ключе. Мы следовали законодательству и этическим нормам. В этой деятельности, если вы добросовестный разработчик, вы сможете достичь целей, при этом не нарушая ничьих прав. В мире есть такие такие прогрессивные законы, как GDPR и CCPA. Они нам показывают, как ситуация может измениться в будущем в нашей стране. Например, действующий в Калифорнии, США CCPA – образец того, как сфера rs-систем может жестко регулироваться. Там просто предписали спрашивать разрешение на продажу персональных данных. А продажей считается любое использование пользовательской информации для получения выгоды. В законодательстве других стран есть нормы об имплицитном согласии на использование ваших данных для формирования рекомендаций. Например, вы должны предпринять на сайте некие действия, которые будут означать, что вы готовы получать рекомендации на основе истории вашего профиля, хотя прямого вопроса вам не было задано.
Следите ли вы за новыми проектами в этой сфере, которые реализуют в мире музыкальной цифровой торговли?
Да, конечно, недавно был опубликован интересный кейс в Великобритании. Ребята применили коллаборативную фильтрацию в сочетании с KNN (Метод k ближайших соседей). RMSE. Корень из средней квадратичной ошибки (RMSE) при этом составил 0,8, что очень хорошо. Нейросеть в такой конфигурации была внедрена на одном из британских маркетплейсов по торговле музыкальным оборудованием. Рекомендательные системы остаются одним из главных средств победы в конкурентной борьбе e-commerce площадок. Примеров, когда цифровые торговые структуры преуспевали благодаря рекомендаций на AI – множество. Рекомендаци на Amazon опираются на историю покупок, историю поиска в браузере, рейтинги и отзывы. Руководство торгового гиганта ранее сообщало, что благодаря этому удалось добиться 35% роста продаж. Каталог Netflix включает более 17 тысяч позиций. Представители стримингового сервиса недавно обнародовали цифру, согласно которой 75% просмотров на платформе получается в результате рекомендаций. В конкурентной борьбе побеждает самый гибкий, самый открытый невероятному потенциалу AI в e-commerce.
Василий Черный