Сложная математика неверных фактов может помочь Spotify выбрать вашу следующую любимую песню

Новый тип модели машинного обучения, разработанный группой исследователей из компании Spotify, занимающейся потоковой передачей музыки, впервые фиксирует сложную математику, лежащую в основе контрфактического анализа, точную технику, которую можно использовать для выявления причин прошлых событий и прогнозирования последствий. будущих.

Модель, описанная ранее в этом году в научном журнале Nature Machine Intelligence, может повысить точность автоматического принятия решений, особенно персонализированных рекомендаций, в различных приложениях, от финансов до здравоохранения .

Основная идея контрфактуалов заключается в том, чтобы спросить, что произошло бы в ситуации, если бы некоторые вещи были другими. Это как перемотать мир назад, изменить несколько важных деталей, а затем нажать кнопку воспроизведения, чтобы посмотреть, что произойдет. Подбирая правильные элементы, можно отделить истинную причинно-следственную связь от корреляции и совпадения.

"Понимание причины и следствия чрезвычайно важно для принятия решений, – – говорит Киаран Гиллиган-Ли, руководитель лаборатории исследования причинно-следственных связей в Spotify, один из разработчиков модели. "Вы хотите понять, как выбор, который вы сделаете сейчас, повлияет на будущее".

В случае со Spotify это может означать выбор песен для показа или даты выпуска нового альбома исполнителей. По словам Гиллиган-Ли, Spotify пока не использует контрфактуалы. "Но они могли бы помочь ответить на вопросы, с которыми мы сталкиваемся каждый день".

Контрфакты интуитивно понятны. Люди часто осмысливают мир, представляя, как бы все обернулось, если бы произошло это, а не то. Но они чудовищно сложны в математике.

"Контрфакты – очень странные статистические объекты, – – говорит Гиллиган-Ли. «Это странные вещи, чтобы созерцать. Вы спрашиваете о вероятности того, что что-то произойдет, если этого не произошло. »

Гиллиган-Ли и его соавторы начали совместную работу после того, как узнали об их работе из статьи в MIT Technology Review. Они основали свою модель на теоретической основе для контрфактуалов, называемых сетями-близнецами.

Двойные сети были изобретены в 1990-х годах учеными-компьютерщиками Эндрю Балком и Джудеей Перл. В 2011 году Перл получил премию Тьюринга, Нобелевскую премию по компьютерным наукам, за свою работу в области причинно-следственных связей и искусственного интеллекта.

Перл и Балке использовали двойные сети для работы над несколькими простыми примерами, – говорит Гиллиган-Ли. Но сложно вручную применить математическую основу к более крупным и сложным случаям из реальной жизни.

Здесь на помощь приходит машинное обучение. Двойные сети рассматривают контрфактуалы как пару вероятностных моделей: одна представляет реальный мир, а другая представляет вымышленный мир. Модели связаны таким образом, что модель реального мира ограничивает модель вымышленного мира, сохраняя ее неизменной во всех отношениях, кроме фактов, которые вы хотите изменить.

Гиллиган-Ли и его коллеги использовали платформу Twin Networks в качестве модели нейронной сети, а затем обучили ее делать прогнозы о том, как будут развиваться события в вымышленном мире. Результатом является универсальная компьютерная программа для выполнения контрфактических рассуждений. "Это позволяет вам ответить на любой контрфактический вопрос о сценарии, который вы хотите", – говорит Гиллиган-Ли.

Грязная вода

Команда Spotify проверила свою модель на нескольких реальных примерах, в том числе об одобрении кредита в Германии, о международном клиническом испытании лекарства от инсульта и о безопасности воды в Кении.

В 2020 году исследователи изучили, снизит ли уровень детской диареи установка труб и бетонных контейнеров для защиты родников от бактериального заражения в одном из районов Кении. Они обнаружили положительный эффект. Но вы должны быть уверены, что вызвало это, говорит Гиллиган-Ли. Прежде чем устанавливать бетонные стены вокруг колодцев по всей стране, вы должны убедиться, что снижение заболеваемости действительно было вызвано этим вмешательством, а не его побочным эффектом.

Возможно, когда исследователи приехали, чтобы провести исследование и возвели бетонные стены вокруг колодцев, люди узнали о рисках зараженной воды и начали кипятить ее дома. В этом случае "обучение будет более дешевым способом масштабирования вмешательства", – говорит Гиллиган-Ли.