Один проект, в котором ты можешь объяснить каждое решение, весит больше десяти репозиториев с Titanic, Iris и ценами на жилье. На собесе не спрашивают, сколько у тебя проектов. Спрашивают «почему ты сделал именно так».
Почему Titanic не работает
Рекрутер тратит на резюме секунды и по ссылке на GitHub не ходит. Если вдруг ходит, видит дату последнего коммита и ноль звезд. Дверь открывает резюме, проект только подкрепляет решение, которое уже принято в твою пользу. Дальше начинается собес, и вот там проект либо работает, либо нет.
Правило простое: в проект должно быть что копать. Готовый датасет с Kaggle, ноутбук с EDA и бустинг с подобранными гиперпараметрами, это домашка. Интервьюер спросит «а что бы ты сделал, если бы таргет созревал год» и услышит тишину.
Подборка ниже целиком про тир A: каждый проект строится вокруг поломки, которая случается в проде, и которую ты воспроизводишь сам на открытых данных. Такой проект интервьюер копает с удовольствием, потому что узнает в нем свою работу.
Человек приносит десять репозиториев и ни про один не может сказать, что в нем сломалось и почему он сделал именно так. Валидировал случайным сплитом, не заметил утечку, метрику взял «как в туториале». Разваливается не на сложном, а на вопросе «а что бы ты сделал, если бы таргет созревал год».
Эти поломки на площадке проходят руками
Подборка это кусок пути на площадке. Утечка таргета, валидация по времени, калибровка и порог по деньгам идут в блоке Classic ML: свиток с интерактивом, задача в браузере, видео-разбор, как именно это спрашивают на собесе. Ставить ничего не надо.
В менторстве после каждого блока мок-собес, где по твоему проекту копают как на настоящем.
Подборка: 8 проектов на открытых данных
Порядок от простых к сложным. Первые три ловят самые частые вопросы на собесах, дальше про деньги и решения, последний для тех, кто метит в MLE. Делать один, доводить до конца, потом брать следующий.
Что ломается в проде. Скоринговая модель теряет 30 пунктов Gini за квартал, а дашборд дрейфа зеленый: распределения признаков в норме, PSI в норме. Главный признак просто перестал ранжировать.
Данные. Home Credit Credit Risk Model Stability (Kaggle, есть поле WEEK_NUM) или Lending Club по годам выдачи.
Что сделать.
- Обучи модель на раннем периоде.
- Посчитай Gini по неделям или кварталам.
- Посчитай PSI по каждому признаку.
- Посчитай Gini каждого признака отдельно во времени.
- Найди признак, у которого PSI в норме, а ранжирование умерло.
Где себя поймать. Мониторить только входы. Распределение признака может не измениться, а его связь с таргетом исчезнуть.
На собесе спросят. «Чем мониторил модель кроме PSI?»
Что ломается в проде. Модель на тесте идеальна, в бою нулевая. В признаках сидело то, что известно только после события.
Данные. Lending Club. Поля total_pymnt, recoveries и last_pymnt_d известны только после выдачи кредита.
Что сделать.
- Обучи на всех колонках и получи подозрительно идеальную метрику.
- Пройди каждую колонку вопросом «знаю ли я это в момент заявки».
- Выкинь те, что текут, и получи честную цифру.
- Запиши в README, какие поля текли и как ты их нашел.
Где себя поймать. Слишком хорошая метрика это не повод радоваться, а повод искать утечку. Даже в датасете Criteo для аплифта нашли утечку в первой версии и выпустили исправленную.
На собесе спросят. «Как валидировал и где могла быть утечка?» Самый частый вопрос из тех, на которых валятся.
Что ломается в проде. Модель выкатили с метрикой 0.85, через месяц 0.70. Валидировали случайным сплитом, а данные живут во времени.
Данные. IEEE-CIS Fraud Detection. Поле TransactionDT это смещение во времени, а не дата.
Что сделать.
- Сравни метрику на случайном сплите и на сплите по времени.
- Подбери гиперпараметры на временных фолдах.
- Покажи разрыв одной картинкой.
Где себя поймать. Подбирать параметры на случайных фолдах, а проверять на временных. Это утечка через подбор.
На собесе спросят. «Как валидировал перед выкаткой?»
Что ломается в проде. Бизнесу нужна не сортировка клиентов, а вероятность дефолта, чтобы посчитать ожидаемые потери. Модель ранжирует отлично, а сумма предсказанных дефолтов в два раза расходится с фактом.
Данные. Default of credit card clients (UCI, 30 000 строк) или Give Me Some Credit.
Что сделать.
- Построй reliability diagram.
- Откалибруй двумя способами: Platt и isotonic.
- Сравни сумму предсказанных дефолтов с фактическими до и после.
- Посчитай ожидаемые потери по портфелю.
Где себя поймать. Gini после калибровки не меняется, а деньги в прогнозе меняются. Это и есть ответ на вопрос «зачем калибровать».
На собесе спросят. «Чем AUC отличается от калибровки и когда она нужна?»
Что ломается в проде. Аналитики успевают проверить 200 подозрительных транзакций в день. Порог по F1 присылает им 2 000.
Данные. PaySim (6.36 млн синтетических транзакций) или IEEE-CIS из проекта 03.
Что сделать.
- Собери матрицу потерь: сумма пропущенного фрода против стоимости проверки одной транзакции.
- Подбери порог под лимит аналитиков в день.
- Сравни с порогом по F1 в деньгах, а не в метрике.
Где себя поймать. F1 ничего не знает про стоимость ошибок. Порог выбирает бизнес, а не метрика.
На собесе спросят. «Какой порог поставил бы и почему?»
Что ломается в проде. Модель оттока говорит, кто уйдет. Скидку дают им, а половина и так осталась бы. Деньги ушли тем, на кого они не повлияли.
Данные. X5 RetailHero, МегаФон или Лента через scikit-uplift (fetch_x5, fetch_megafon, fetch_lenta), или Criteo uplift.
Что сделать.
- Модель отклика против S-, T- и X-learner.
- Uplift-кривая и AUUC с бутстрепом.
- Бюджет на 20 процентов клиентов: сколько дополнительных покупок он дает в каждом варианте.
Где себя поймать. Победитель меняется от разбиения к разбиению. Без бутстрепа вывод случайный.
На собесе спросят. «Чем uplift отличается от модели отклика?»
Что ломается в проде. Взыскание долгов. Классификация «вернет больше X» дает ROC AUC, который растет от порога суммы, а не от качества модели. Сравнивать можно только деньги.
Данные. Lending Club, сумма recoveries по списанным кредитам, или Freddie Mac loan-level.
Что сделать.
- Классификация на нескольких порогах суммы против регрессии с L2, log и Tweedie.
- Критерий один: накопленная прибыль на отложенном периоде с учетом стоимости действия на клиента.
- Найди долю портфеля, на которой кривая выходит на максимум.
Где себя поймать. Метрика модели и метрика бизнеса это разные вещи, и выбирать модель надо по второй.
На собесе спросят. «Какую метрику выбрал и почему?» Ответ в деньгах.
Что ломается в проде. Источник добавил колонку и поменял тип поля. Пайплайн не упал, модель тихо считает на мусоре. Проект для тех, кто метит в MLE.
Данные. NYC TLC trip records, ежемесячные parquet. С 2025 года в них появилась колонка cbd_congestion_fee, схема менялась по-настоящему.
Что сделать.
- Пайплайн, который каждый месяц тянет новый файл.
- Pandera или Great Expectations, которые падают громко на новой колонке и смене типов.
- Запуск по расписанию в GitHub Actions.
Где себя поймать. Пайплайн, который «работает», и пайплайн, который проверяет вход, это разные пайплайны.
На собесе спросят. «Что случится с моделью, если источник поменяет схему?»
Как уложить проект в резюме
Строка про проект отвечает на три вопроса: что сделал, какую задачу решил, что в результате изменилось. Формула сделал X, решил Y, улучшил Z. Цифра обязательна, даже если это цифра на открытых данных.
Pet-project: модель кредитного скоринга на Lending Club. Стек: Python, CatBoost, sklearn. AUC 0.78.
Собрал скоринг на Lending Club с валидацией по времени: нашел утечку через три поля, известных только после выдачи, честный Gini упал с 0.95 до 0.52. После калибровки расхождение прогнозных дефолтов с фактом снизилось с 42 до 6 процентов.
Вторая версия длиннее, но каждое слово в ней это вопрос, который интервьюер захочет задать. Это и значит «есть что копать».
Чек-лист: мой проект не выглядит туториалом
- Выбери один проект из первых трех.
- Скачай датасет сегодня, не «на выходных».
- Доведи до README с поломкой и честной цифрой.
- Напиши строку в резюме по формуле.
- Иди на собес раньше, чем почувствуешь, что готов. Дыры в проекте видно только там.
Проект не заменяет стажировку и не заменяет разбор с тем, кто сидит по ту сторону стола. Он дает тебе историю, которую не стыдно рассказать. Дальше ее надо отрепетировать.