妻
bimchine библиотека · метрики

Precision и Recall
на одном свайпе

Женя обучил модель, которая по анкете в Тиндере считает вероятность, что это будущая жена. На этой истории проще всего понять, чем precision отличается от recall и почему без порога обе метрики ничего не значат.

чтение 4 минкодовое слово: метрики
妻

У precision и recall один и тот же числитель. Разница только в знаменателе, и на собесе спрашивают именно ее.

Что делает модель

На входе анкета, на выходе число от 0 до 1. Само число ничего не решает, решает порог: выше него Женя свайпает вправо, ниже влево. По умолчанию порог 0,5, но это просто ручка, которую можно крутить.

Четыре клетки

Проходит время, и становится понятно, кем она была на самом деле. Ответ модели и правда дают четыре комбинации. Это матрица ошибок, ее на собесе просят нарисовать чаще любой формулы.

Матрица ошибок: TP 7, FP 3, FN 1, TN 89
Первая буква говорит, угадала ли модель (True или False), вторая, что она сказала (Positive «жена», Negative «нет»).

Precision и recall

Precision смотрит только на свайпы вправо: сколько из них оказались женой.

precision = TP / (TP + FP) = 7 / 10 = 0,70
// каждая третья из одобренных ушла с сумкой

Recall смотрит на всех настоящих жен: скольких модель не проспала.

recall = TP / (TP + FN) = 7 / 8 = 0,875
// одна жена из восьми свайпнута влево

Цена ошибок разная. Сумка Balenciaga это минус 400 тысяч, три сумки за сезон уже 1,2 миллиона. Упущенная жена стоит дороже, но в рублях ее не посчитаешь, поэтому в жизни такие решения и требуют разговора с бизнесом.

Порог двигает обе метрики

Модель у трех друзей одна и та же. Отличается только порог.

Три порога: precision и recall у Кирилла, Жени и Никиты
Поднимаешь порог, модель одобряет меньше: precision растет, recall падает. Опускаешь, наоборот.

Кирилл почти не встречает сумок, но проспал больше половины жен. Никита ловит почти всех жен, но каждая вторая приходит с Balenciaga. Сказать, чья модель лучше, нельзя: модель одна, они просто стоят на разных точках одной кривой.

妻

Precision и recall оценивают не модель, а решение при конкретном пороге. Называешь метрику, называй и порог.

Что спросят дальше

На каждый из этих вопросов есть отдельный свиток на площадке, с кодом и задачами.

道

Ответы
внутри площадки

ROC-AUC и PR-кривая, порог по деньгам, калибровка и дисбаланс классов разобраны в свитках блока Classic ML: с кодом, задачами и клипами с настоящих собесов в ВТБ и Билайн.

Хочу на площадку
Бот расскажет, как зайти и что там внутри.
Или загляни в канал, там разборы каждую неделю
@bimchine_work · найм в ML изнутри