У precision и recall один и тот же числитель. Разница только в знаменателе, и на собесе спрашивают именно ее.
Что делает модель
На входе анкета, на выходе число от 0 до 1. Само число ничего не решает, решает порог: выше него Женя свайпает вправо, ниже влево. По умолчанию порог 0,5, но это просто ручка, которую можно крутить.
Четыре клетки
Проходит время, и становится понятно, кем она была на самом деле. Ответ модели и правда дают четыре комбинации. Это матрица ошибок, ее на собесе просят нарисовать чаще любой формулы.

Precision и recall
Precision смотрит только на свайпы вправо: сколько из них оказались женой.
// каждая третья из одобренных ушла с сумкой
Recall смотрит на всех настоящих жен: скольких модель не проспала.
// одна жена из восьми свайпнута влево
Цена ошибок разная. Сумка Balenciaga это минус 400 тысяч, три сумки за сезон уже 1,2 миллиона. Упущенная жена стоит дороже, но в рублях ее не посчитаешь, поэтому в жизни такие решения и требуют разговора с бизнесом.
Порог двигает обе метрики
Модель у трех друзей одна и та же. Отличается только порог.

Кирилл почти не встречает сумок, но проспал больше половины жен. Никита ловит почти всех жен, но каждая вторая приходит с Balenciaga. Сказать, чья модель лучше, нельзя: модель одна, они просто стоят на разных точках одной кривой.
Precision и recall оценивают не модель, а решение при конкретном пороге. Называешь метрику, называй и порог.
- Как сравнить две разные модели, если у каждой свой порог?
- FP стоит 400 тысяч, FN два миллиона. Где ставить порог?
- Почему accuracy 95 процентов может значить ноль свиданий?
- Модель сказала 0,8. Это правда 80 процентов?
На каждый из этих вопросов есть отдельный свиток на площадке, с кодом и задачами.