作
bimchine библиотека · пет-проекты

Пет-проекты,
в которые есть что копать

HR не открывает твой GitHub. Проект нужен не для HR, а для собеса: тебя спросят «расскажи про свой проект» и дальше час будут копать в решения. В Titanic копать нечего. Ниже восемь проектов, в которых есть.

чтение 7 минкодовое слово: проект
作

Один проект, в котором ты можешь объяснить каждое решение, весит больше десяти репозиториев с Titanic, Iris и ценами на жилье. На собесе не спрашивают, сколько у тебя проектов. Спрашивают «почему ты сделал именно так».

Почему Titanic не работает

Рекрутер тратит на резюме секунды и по ссылке на GitHub не ходит. Если вдруг ходит, видит дату последнего коммита и ноль звезд. Дверь открывает резюме, проект только подкрепляет решение, которое уже принято в твою пользу. Дальше начинается собес, и вот там проект либо работает, либо нет.

Правило простое: в проект должно быть что копать. Готовый датасет с Kaggle, ноутбук с EDA и бустинг с подобранными гиперпараметрами, это домашка. Интервьюер спросит «а что бы ты сделал, если бы таргет созревал год» и услышит тишину.

Проекты глазами интервьюера
SСтажировка: не проект, но бьет любой проект. Задача с живыми пользователями и замеренной цифрой.
AСквозной проект, где ты сам собрал данные, модель, сервис и мониторинг. Вклад в open-source.
BKaggle с нормальным местом. Хакатон в команде.
CEDA в ноутбуке на готовом датасете. «Предсказание цен на жилье».
DTitanic, Iris, MNIST. Десять репозиториев без коммитов за полгода.

Подборка ниже целиком про тир A: каждый проект строится вокруг поломки, которая случается в проде, и которую ты воспроизводишь сам на открытых данных. Такой проект интервьюер копает с удовольствием, потому что узнает в нем свою работу.

на чем сыплются чаще всего

Человек приносит десять репозиториев и ни про один не может сказать, что в нем сломалось и почему он сделал именно так. Валидировал случайным сплитом, не заметил утечку, метрику взял «как в туториале». Разваливается не на сложном, а на вопросе «а что бы ты сделал, если бы таргет созревал год».

道
где это тренируют

Эти поломки на площадке проходят руками

Площадка BIMCHINE
BIMCHINE · площадка подготовки в DS и ML
bimchine.ru · демо бесплатно

Подборка это кусок пути на площадке. Утечка таргета, валидация по времени, калибровка и порог по деньгам идут в блоке Classic ML: свиток с интерактивом, задача в браузере, видео-разбор, как именно это спрашивают на собесе. Ставить ничего не надо.

В менторстве после каждого блока мок-собес, где по твоему проекту копают как на настоящем.

30 свитковв демо, бесплатно
1 000+вопросов с реальных собесов в архиве, с разбором ответа
6 блоковот Python до выхода на рынок
Додзезадачи с лайвкодинга бигтеха, с подсказками и разборами
мок-собеспосле каждого блока в менторстве
от 10 000 ₽блок по отдельности, пакетом дешевле
Видео-разбор: утечка через клиента Видео-разбор: кросс-валидация Видео-разбор: калибровка PD Видео-разбор: Gini после x10
видео-разборы площадки по темам подборки: как это спрашивают на собесе

Подборка: 8 проектов на открытых данных

Порядок от простых к сложным. Первые три ловят самые частые вопросы на собесах, дальше про деньги и решения, последний для тех, кто метит в MLE. Делать один, доводить до конца, потом брать следующий.

01 · PSI зеленый, а Gini упал

Что ломается в проде. Скоринговая модель теряет 30 пунктов Gini за квартал, а дашборд дрейфа зеленый: распределения признаков в норме, PSI в норме. Главный признак просто перестал ранжировать.

Данные. Home Credit Credit Risk Model Stability (Kaggle, есть поле WEEK_NUM) или Lending Club по годам выдачи.

Страница датасета: PSI зеленый, а Gini упал

Что сделать.

  1. Обучи модель на раннем периоде.
  2. Посчитай Gini по неделям или кварталам.
  3. Посчитай PSI по каждому признаку.
  4. Посчитай Gini каждого признака отдельно во времени.
  5. Найди признак, у которого PSI в норме, а ранжирование умерло.

Где себя поймать. Мониторить только входы. Распределение признака может не измениться, а его связь с таргетом исчезнуть.

На собесе спросят. «Чем мониторил модель кроме PSI?»

02 · AUC почти 1, и это провал

Что ломается в проде. Модель на тесте идеальна, в бою нулевая. В признаках сидело то, что известно только после события.

Данные. Lending Club. Поля total_pymnt, recoveries и last_pymnt_d известны только после выдачи кредита.

Страница датасета: AUC почти 1, и это провал

Что сделать.

  1. Обучи на всех колонках и получи подозрительно идеальную метрику.
  2. Пройди каждую колонку вопросом «знаю ли я это в момент заявки».
  3. Выкинь те, что текут, и получи честную цифру.
  4. Запиши в README, какие поля текли и как ты их нашел.

Где себя поймать. Слишком хорошая метрика это не повод радоваться, а повод искать утечку. Даже в датасете Criteo для аплифта нашли утечку в первой версии и выпустили исправленную.

На собесе спросят. «Как валидировал и где могла быть утечка?» Самый частый вопрос из тех, на которых валятся.

03 · Случайный сплит врет

Что ломается в проде. Модель выкатили с метрикой 0.85, через месяц 0.70. Валидировали случайным сплитом, а данные живут во времени.

Данные. IEEE-CIS Fraud Detection. Поле TransactionDT это смещение во времени, а не дата.

Страница датасета: Случайный сплит врет

Что сделать.

  1. Сравни метрику на случайном сплите и на сплите по времени.
  2. Подбери гиперпараметры на временных фолдах.
  3. Покажи разрыв одной картинкой.

Где себя поймать. Подбирать параметры на случайных фолдах, а проверять на временных. Это утечка через подбор.

На собесе спросят. «Как валидировал перед выкаткой?»

04 · Скор не равен вероятности

Что ломается в проде. Бизнесу нужна не сортировка клиентов, а вероятность дефолта, чтобы посчитать ожидаемые потери. Модель ранжирует отлично, а сумма предсказанных дефолтов в два раза расходится с фактом.

Данные. Default of credit card clients (UCI, 30 000 строк) или Give Me Some Credit.

Страница датасета: Скор не равен вероятности

Что сделать.

  1. Построй reliability diagram.
  2. Откалибруй двумя способами: Platt и isotonic.
  3. Сравни сумму предсказанных дефолтов с фактическими до и после.
  4. Посчитай ожидаемые потери по портфелю.

Где себя поймать. Gini после калибровки не меняется, а деньги в прогнозе меняются. Это и есть ответ на вопрос «зачем калибровать».

На собесе спросят. «Чем AUC отличается от калибровки и когда она нужна?»

05 · Порог по деньгам, а не по F1

Что ломается в проде. Аналитики успевают проверить 200 подозрительных транзакций в день. Порог по F1 присылает им 2 000.

Данные. PaySim (6.36 млн синтетических транзакций) или IEEE-CIS из проекта 03.

Страница датасета: Порог по деньгам, а не по F1

Что сделать.

  1. Собери матрицу потерь: сумма пропущенного фрода против стоимости проверки одной транзакции.
  2. Подбери порог под лимит аналитиков в день.
  3. Сравни с порогом по F1 в деньгах, а не в метрике.

Где себя поймать. F1 ничего не знает про стоимость ошибок. Порог выбирает бизнес, а не метрика.

На собесе спросят. «Какой порог поставил бы и почему?»

06 · Кому давать скидку

Что ломается в проде. Модель оттока говорит, кто уйдет. Скидку дают им, а половина и так осталась бы. Деньги ушли тем, на кого они не повлияли.

Данные. X5 RetailHero, МегаФон или Лента через scikit-uplift (fetch_x5, fetch_megafon, fetch_lenta), или Criteo uplift.

Страница датасета: Кому давать скидку

Что сделать.

  1. Модель отклика против S-, T- и X-learner.
  2. Uplift-кривая и AUUC с бутстрепом.
  3. Бюджет на 20 процентов клиентов: сколько дополнительных покупок он дает в каждом варианте.

Где себя поймать. Победитель меняется от разбиения к разбиению. Без бутстрепа вывод случайный.

На собесе спросят. «Чем uplift отличается от модели отклика?»

07 · Классификация или регрессия, решает прибыль

Что ломается в проде. Взыскание долгов. Классификация «вернет больше X» дает ROC AUC, который растет от порога суммы, а не от качества модели. Сравнивать можно только деньги.

Данные. Lending Club, сумма recoveries по списанным кредитам, или Freddie Mac loan-level.

Страница датасета: Классификация или регрессия, решает прибыль

Что сделать.

  1. Классификация на нескольких порогах суммы против регрессии с L2, log и Tweedie.
  2. Критерий один: накопленная прибыль на отложенном периоде с учетом стоимости действия на клиента.
  3. Найди долю портфеля, на которой кривая выходит на максимум.

Где себя поймать. Метрика модели и метрика бизнеса это разные вещи, и выбирать модель надо по второй.

На собесе спросят. «Какую метрику выбрал и почему?» Ответ в деньгах.

08 · Ночью поменялась схема данных

Что ломается в проде. Источник добавил колонку и поменял тип поля. Пайплайн не упал, модель тихо считает на мусоре. Проект для тех, кто метит в MLE.

Данные. NYC TLC trip records, ежемесячные parquet. С 2025 года в них появилась колонка cbd_congestion_fee, схема менялась по-настоящему.

Страница датасета: Ночью поменялась схема данных

Что сделать.

  1. Пайплайн, который каждый месяц тянет новый файл.
  2. Pandera или Great Expectations, которые падают громко на новой колонке и смене типов.
  3. Запуск по расписанию в GitHub Actions.

Где себя поймать. Пайплайн, который «работает», и пайплайн, который проверяет вход, это разные пайплайны.

На собесе спросят. «Что случится с моделью, если источник поменяет схему?»

Как уложить проект в резюме

Строка про проект отвечает на три вопроса: что сделал, какую задачу решил, что в результате изменилось. Формула сделал X, решил Y, улучшил Z. Цифра обязательна, даже если это цифра на открытых данных.

Плохо

Pet-project: модель кредитного скоринга на Lending Club. Стек: Python, CatBoost, sklearn. AUC 0.78.

Хорошо

Собрал скоринг на Lending Club с валидацией по времени: нашел утечку через три поля, известных только после выдачи, честный Gini упал с 0.95 до 0.52. После калибровки расхождение прогнозных дефолтов с фактом снизилось с 42 до 6 процентов.

Вторая версия длиннее, но каждое слово в ней это вопрос, который интервьюер захочет задать. Это и значит «есть что копать».

Чек-лист: мой проект не выглядит туториалом

первый вопрос на любом собесе про проект
поломка интереснее метрики
AUC 0.8 никому ничего не говорит
«так в туториале было» равно провалу
мертвый репозиторий хуже пустого
чем длиннее список, тем очевиднее отсутствие опыта
Что сделать на этой неделе
  1. Выбери один проект из первых трех.
  2. Скачай датасет сегодня, не «на выходных».
  3. Доведи до README с поломкой и честной цифрой.
  4. Напиши строку в резюме по формуле.
  5. Иди на собес раньше, чем почувствуешь, что готов. Дыры в проекте видно только там.
作

Проект не заменяет стажировку и не заменяет разбор с тем, кто сидит по ту сторону стола. Он дает тебе историю, которую не стыдно рассказать. Дальше ее надо отрепетировать.

道

Где ты
застрял?

Откликов много, ответов нет. Дошел до техсекции и посыпался. Знаешь теорию, но на собесе звучишь на грейд ниже. Учишь третий месяц и не понимаешь, что дальше. Или вообще с нуля и непонятно, с чего начинать.

01назови свой затык
02разберем причину
03план, что делать
Рассказать свою ситуацию
Разовая консультация или менторство один на один, зависит от того, насколько глубоко копать.
Или загляни в канал, там разборы каждую неделю
@bimchine_work · найм в ML изнутри