Как SaaS‑платформа грейдит разработчиков в 5 раз быстрее тимлида

На старте проекта команда ITQuick столкнулась с типичной, но острой проблемой технологического найма: найти и правильно оценить senior-разработчика занимало слишком много времени.

Чтобы изменить ситуацию, компании был нужен инструмент, который позволял бы оценивать кандидата с высокой точностью без привлечения тимлида, формировать задания не абстрактные и универсальные, а привязанные к конкретному стеку и вакансии, и при этом учитывать индивидуальные критерии каждой компании.

Решение ITQuick заключалось в том, чтобы создать собственную методологию грейдинга и библиотеку знаний, а затем задействовать генеративный AI. Такой подход дал возможность генерировать практически неограниченное количество заданий, настраиваемых под нужды бизнеса, и вывести точность оценки на принципиально новый уровень.

Библиотека реальных кейсов

Фундамент Jumse — это библиотека из 9500+ практических заданий, собранных за 3,5 года из международной экспертной сети и проектов ITQuick. Это не искусственные тесты, а реальные рабочие задачи: от code review и анализа архитектуры у backend-разработчиков до описания бизнес-процессов и CI/CD-пайплайнов. Каждое задание — отражение настоящей инженерной практики, а не академическая абстракция.

Методология и правила оценки

Чтобы система не сводилась к тесту с правильным ответом, ITQuick разработала сетку требований к грейдам, которая адаптируется под конкретную компанию. Jumse учитывает ее исторические решения и внутренние стандарты.

Дополняет эту систему библиотека промптов — структурированных инструкций, объясняющих модели, как формировать задания и что считать сигналами зрелости. Благодаря этому платформа оценивает не «правильно/неправильно», а глубину мышления и соответствие корпоративному уровню.

AI-агенты и генеративные модели

Внутри Jumse работают агенты, которые анализируют паттерны найма конкретной организации и на их основе выстраивают формулу оценки. Они не просто проверяют решения, а воспроизводят ход мыслей тимлида. Генеративные LLM обучаются на базе реальных кейсов и затем донастраиваются под специфику компании. Это делает скрининги устойчивыми к GPT-подходу и позволяет формировать задания, которые невозможно пройти шаблонным ответом.

Технологическая основа

Для работы используются несколько моделей — LLaMA, Perplexity, DeepSeek. Инфраструктура построена на Yandex.Cloud (DataSphere) и OpenAI-инструментах (Vector Store, LLM Tools). Параллельно команда ведет RnD-исследования по графическим заданиям. База знаний пополняется не только экспертами, но и самими AI-агентами, которые фиксируют и структурируют новые практические сценарии.

Многие кандидаты используют ChatGPT и другие нейросети, чтобы проходить тестовые задания. Это скрывает реальный уровень компетенции. В итоге компания рискует нанять человека, который хорошо умеет промптить, но не всегда способен решать практические задачи.

При этом платформа Jumse строилась так, чтобы противостоять этому сценарию. Задания не сводятся к тестам или вопросам с фиксированным ответом. Они моделируют реальные рабочие ситуации: code review, разбор архитектуры, проектирование бизнес-процессов. Это задачи, которые требуют опыта, понимания компромиссов и умения аргументировать выбор.

Механики защиты

1. Неоднозначность решений. У большинства заданий нет единственного «правильного» ответа — возможны разные подходы, и система оценивает качество рассуждений. Это делает бессмысленным использование шаблонных ответов из GPT
2. Поведенческий анализ. Платформа фиксирует процесс: как кандидат подходит к задаче, насколько последовательно работает, какие шаги предпринимает. Это помогает отличить реального специалиста от того, кто копирует готовые куски текста.
3. Сверка с резюме. При необходимости ответы соотносятся с заявленным опытом. Если специалист указывает CI/CD, но не способен описать даже базовый пайплайн, система это фиксирует.

В итоге скрининги в Jumse перестают быть уязвимыми для GPT-прохождения. Они воспроизводят реальные профессиональные сценарии и требуют мышления, а не механической генерации текста.

Jumse показывает, что AI-система способна воспроизводить экспертное мышление и делать найм одновременно быстрым и точным. Благодаря генеративному AI, библиотеке реальных кейсов и индивидуальным моделям оценки платформа помогает компаниям снижать субъективность, ускорять процесс и минимизировать риски ошибок.