Распределения могут быть нормальными. PSI может быть нормальным. А ранжирующая способность фичи уже мертва.
Стабильность важнее лучшего Gini
Почти везде, на курсах, в соревнованиях, на кейс-чемпионатах, все силы уходят на то, чтобы выбить лучшую метрику на тестовой выборке. А в проде модель живет месяцами, и куда важнее, как она держится на дистанции. На собесах спрашивают именно про это.
Модель PizzaProphet
Есть у меня в проде модель, назовем ее PizzaProphet: предсказывает, закажет ли клиент пиццу ночью. На обучении Gini 0,70, на свежем периоде 0,41. Минус 30 пунктов. Первая мысль, что сломался пайплайн: сейчас найду косяк и пойду дальше.
Код фичей на месте. Дашборд дрифта зеленый: распределения почти один в один как на обучении, PSI в норме. По всем приборам модель здорова, а Gini как был 0,41, так и остался. Смотришь на этот дашборд как на градусник, который показывает 36,6, пока пациента увозят на скорой.
Как это выглядит на графике
Прод показать не могу, поэтому собрал игрушечную копию по мотивам: 20 недель, учим модель на первых восьми, с 13-й недели главная фича night_orders (ночные заказы за месяц) перестает ранжировать.

Модель не упала в ноль только потому, что у нее есть другие фичи. А вот главная фича умерла полностью, и ни один зеленый квадратик под графиком об этом не сказал.
Почему PSI промолчал
PSI режет фичу на бины, например на 10 кусков по 10 процентов клиентов, и сравнивает, сколько людей попало в каждый бин сейчас и на обучении. Если доли те же, PSI около нуля. Про таргет он не знает ничего.

Слева все честно: в каждом бине по 10 процентов клиентов, как и было. Справа беда. Раньше в первом бине заказывали 5 процентов, в последнем 66: чем больше ночных заказов, тем выше шанс, и модель на этом жила. Теперь во всех бинах ровно 22–27 процентов. Люди те же, доли те же, а вести себя они стали по-другому.
Что смотреть кроме PSI
- Gini каждой топовой фичи отдельно, по неделям. Резко упал, значит фича умерла
- Долю таргета в бинах фичи, а не только по сегментам целиком. Лесенка стала плоской, это оно
- Порядок важности фичей. Топ-3 поменялись местами, это звоночек
Собери такую историю сам
На Kaggle лежит Home Credit Credit Risk Model Stability: у каждой заявки есть номер недели, а это ровно то, что нужно, чтобы смотреть, как модель живет во времени.
Рофл в том, что метрика соревнования штрафовала за падение Gini по неделям, и часть участников вместо стабильной модели научилась подкручивать прогнозы, чтобы график выглядел ровно. Даже на Kaggle народ чинил не модель, а дашборд.
- Обучи бустинг на первых неделях, проверяй на последних. Никакого случайного сплита
- Посчитай Gini по каждой неделе и нарисуй график: сразу видно, где модель начала сыпаться
- Посчитай PSI каждой фичи между обучением и каждой неделей
- Посчитай Gini каждой фичи отдельно, тоже по неделям
- Найди фичу, у которой PSI зеленый, а свой Gini поехал вниз. Это и есть твоя PizzaProphet
Графики в README, и когда на собесе спросят «как поймешь, что модель в проде начала сыпаться?», ты просто открываешь свой график. Тот, кто сидит напротив, скорее всего сам хоронил такую PizzaProphet, так что вам будет о чем поговорить.
- Нашел мертвую фичу. Переобучать модель, выкидывать фичу или ставить претендента?
- Какие пороги PSI и падения Gini считать тревогой и кто на нее просыпается?
- Как отличить смерть фичи от сезонности и от утечки таргета на тесте?
- Как банк принимает модель в прод и что смотрит на стабильности?
Это разобрано на площадке: блок MLSD и разборы собесов, где об этом спрашивали вживую.