落
bimchine библиотека · mlsd

Метрика упала,
а дрифта нет

На собесе спросят: «метрика упала, а дрифта нет, куда пойдешь смотреть?» Определение PSI из статьи тут уже не спасет. Спасет история, которую ты сам поймал на графике.

чтение 6 минMLSD
落

Распределения могут быть нормальными. PSI может быть нормальным. А ранжирующая способность фичи уже мертва.

Стабильность важнее лучшего Gini

Почти везде, на курсах, в соревнованиях, на кейс-чемпионатах, все силы уходят на то, чтобы выбить лучшую метрику на тестовой выборке. А в проде модель живет месяцами, и куда важнее, как она держится на дистанции. На собесах спрашивают именно про это.

Модель PizzaProphet

Есть у меня в проде модель, назовем ее PizzaProphet: предсказывает, закажет ли клиент пиццу ночью. На обучении Gini 0,70, на свежем периоде 0,41. Минус 30 пунктов. Первая мысль, что сломался пайплайн: сейчас найду косяк и пойду дальше.

Код фичей на месте. Дашборд дрифта зеленый: распределения почти один в один как на обучении, PSI в норме. По всем приборам модель здорова, а Gini как был 0,41, так и остался. Смотришь на этот дашборд как на градусник, который показывает 36,6, пока пациента увозят на скорой.

Как это выглядит на графике

Прод показать не могу, поэтому собрал игрушечную копию по мотивам: 20 недель, учим модель на первых восьми, с 13-й недели главная фича night_orders (ночные заказы за месяц) перестает ранжировать.

Gini модели и Gini фичи по неделям, PSI зеленый все 20 недель
Gini модели с 0,73 до 0,41, Gini самой фичи с 0,53 почти до нуля, PSI этой фичи 0,001–0,002 все 20 недель.

Модель не упала в ноль только потому, что у нее есть другие фичи. А вот главная фича умерла полностью, и ни один зеленый квадратик под графиком об этом не сказал.

Почему PSI промолчал

PSI режет фичу на бины, например на 10 кусков по 10 процентов клиентов, и сравнивает, сколько людей попало в каждый бин сейчас и на обучении. Если доли те же, PSI около нуля. Про таргет он не знает ничего.

Доли клиентов по бинам одинаковые, а доля заказавших стала плоской
Слева то, что видит PSI: доли не сдвинулись. Справа то, что он не видит: связь фичи с заказами исчезла.

Слева все честно: в каждом бине по 10 процентов клиентов, как и было. Справа беда. Раньше в первом бине заказывали 5 процентов, в последнем 66: чем больше ночных заказов, тем выше шанс, и модель на этом жила. Теперь во всех бинах ровно 22–27 процентов. Люди те же, доли те же, а вести себя они стали по-другому.

Что смотреть кроме PSI

Собери такую историю сам

На Kaggle лежит Home Credit Credit Risk Model Stability: у каждой заявки есть номер недели, а это ровно то, что нужно, чтобы смотреть, как модель живет во времени.

Рофл в том, что метрика соревнования штрафовала за падение Gini по неделям, и часть участников вместо стабильной модели научилась подкручивать прогнозы, чтобы график выглядел ровно. Даже на Kaggle народ чинил не модель, а дашборд.

План на выходные
  1. Обучи бустинг на первых неделях, проверяй на последних. Никакого случайного сплита
  2. Посчитай Gini по каждой неделе и нарисуй график: сразу видно, где модель начала сыпаться
  3. Посчитай PSI каждой фичи между обучением и каждой неделей
  4. Посчитай Gini каждой фичи отдельно, тоже по неделям
  5. Найди фичу, у которой PSI зеленый, а свой Gini поехал вниз. Это и есть твоя PizzaProphet

Графики в README, и когда на собесе спросят «как поймешь, что модель в проде начала сыпаться?», ты просто открываешь свой график. Тот, кто сидит напротив, скорее всего сам хоронил такую PizzaProphet, так что вам будет о чем поговорить.

Что спросят дальше

Это разобрано на площадке: блок MLSD и разборы собесов, где об этом спрашивали вживую.

道

Что делать
с мертвой фичей

Как принимают модель в банке, какие пороги ставят на PSI и Gini, когда переобучать, а когда выкидывать фичу, разобрано на площадке: блок MLSD и разборы собесов, где об этом спрашивали.

Хочу на площадку
Бот расскажет, как зайти и что там внутри.
Или загляни в канал, там разборы каждую неделю
@bimchine_work · найм в ML изнутри