Сергей Орловский (основатель NIVAL) поинтересовался в своём FB - Мне интересно, когда у нейросети можно будет спросить почему она так решила? - И получил замечательный ответ от основателя Appodeal.

(Автор: Павел Голубев) У нас в Appodeal был прикольный случай недавно. Мы используем нейросети для того, чтобы предсказывать вероятность конверсии каждого показа применительно к рекламодателю.

Так вот, запустили наши партнеры на этапе обучения (то есть без всякого таргетинга и нейросетей) CPI оффер от одного из рекламодателей (приложение для рисования). Открутили какое-то количество показов и обнаружили, что наряду с другими конверсиями, достаточно большое количество конверсий пришло из приложения "Маша и Медведи". Из этого нами был сделан вывод, что рекламу приложения для рисования имеет смысл показывать в каком-то объёме в приложении "Маша и Медведи", т.к. на этапе обучения были получены какие-то конверсии.

Интересное начинается после того, как мы включили наш предиктор (нейросеть, отвечающая за динамический таргетинг рекламодателей для повышения конверсий). После переключения кампании на нейросеть мы обнаружили, что этот рекламодатель почти сразу перестал откручиваться в приложении "Маша". То есть нейросеть приняла решение, что смысла показывать приложение для рисования в Маше — нет.

Примерно две недели мы дебажили и пытались понять, почему же было принято такое решение нейросетью — ведь вот же, очевидно, что реклама подходит и трафик конвертируется. Несколько инженеров разбирались, каким именно образом нейросеть приняла такое "неправильное и глупое" решение. Не разобрались.

В конечном итоге мидиабаеры убедили нас переключить рекламную кампанию в ручной режим из режима управления нейросетью. И в ручном режиме старгетировали кампанию на приложение "Маша".

Дальше на протяжении нескольких дней весь трафик из приложения Маша лился исключительно на приложение для рисования. Вообще весь, который там был. И знаете, сколько было получено в результате конверсий? 0.

Причины для нас до сих пор не ясны, почему так вышло, что сначала прилоежние конвертировалось, а потом с теми же условиями — перестало.

Один из вариантов, что нейросеть взяла в расчёт общее количество трафика, которое уже открутилось на рекламодателя или день недели или что-то еще. Не знаю. Прикол в том, что вариантов становится слишком много, чтобы их проанилиировать и понять, что действительно послужило причиной.

Но самый прикол в том, что нейросеть приняла правильное решение, а целая толпа людишек пыталась её две недели убедить в том, что она глючит, пока так и не убедились, что решение было принято правильно, хотя для всех и осталось навсегда загадкой, почему.

Отвечая на твой вопрос — спросить-то ты спросишь. Но ведь тебе потом ответят. А понять сможешь?