Тест: оценка кандидатов нейросетью — восемь резюме на скрининг, и сверяем её вердикты с живым рекрутером

Пост опубликован в блогах iXBT.com, его автор не имеет отношения к редакции iXBT.com

Первичный просмотр резюме — самая нудная и самая дорогая по времени часть найма. Сейчас по данным hh Статистики на одну вакансию в офисных профессиях приходится около девяти активных резюме, и если вакансия живёт две недели, аккаунт рекрутера превращается в конвейер из сотен откликов. Логичный соблазн — отдать первый фильтр нейросети. Я работаю в найме четыре с половиной года, последние годы — с менеджерами по продажам, и решила проверить честно: что нейросеть делает с такой задачей на самом деле, а не в рекламе сервисов.

Ниже — полностью повторяемый тест: та же вакансия, те же резюме, тот же промт. Вы можете прогнать его за вечер на своих данных.

Автор: Кадроград

Методика

Чтобы не светить чужие персональные данные, я собрала восемь синтетических резюме — каждая буква в них выдумана, но типажи взяты из реального потока откликов: сильный профильный кандидат, выпускник без опыта, переросший вакансию РОП, человек из другой сферы, крепкий середняк, оператор колл-центра, enterprise-продавец с удалёнкой и кандидат с перерывом в стаже.

Вакансия одна и реалистичная: менеджер по продажам, B2B-опт, требования — опыт активных продаж B2B от года, CRM, готовность к холодным звонкам, условия — офис, оклад плюс процент.

Модель — доступная мини-версия GPT-5 через OpenRouter, то есть обычный веб-запрос без всякой интеграции. Промт, с которым я прогоняла каждое резюме отдельным запросом, выглядел так:

Вся механика уместилась в один запрос: модель видела только вакансию, резюме и инструкцию формата
Вся механика уместилась в один запрос: модель видела только вакансию, резюме и инструкцию формата
Автор: Кадроград

«Ты — рекрутер, который делает первичный скрининг резюме на вакансию. Вот вакансия: [текст]. Вот резюме кандидата: [текст]. Оцени кандидата строго по трём критериям: 1) релевантность опыта требованиям; 2) вероятная скорость выхода на результат; 3) риски. Дай вердикт ровно в формате: ВЕРДИКТ: взять / на подумать / отказ. ПРИЧИНА: одним предложением».

Каждое резюме подавалось отдельным запросом, без памяти о предыдущих. Эталон — мой вердикт по тем же критериям, как будто мне эти восемь человек прислали в отчёте.

Результаты

Резюме Типаж Нейросеть Рекрутер Совпало?
1 профильный, 3 года в стройматериалах, план 104% взять взять да
2 выпускник без опыта продаж отказ отказ да
3 РОП с 12 годами опыта на подумать отказ нет
4 дизайнер, «хочу в продажи» отказ отказ да
5 3 года B2B, Битрикс24, переезд на подумать взять нет
6 оператор колл-центра 4 года отказ на подумать нет
7 enterprise-продавец, 40 млн портфель, хочет удалёнку на подумать отказ нет
8 7 лет опыта, перерыв в стаже, частичная занятость на подумать на подумать да

Итого: полное совпадение в 4 случаях из 8 (4 / 8 = 50%), при этом ни одного диаметрально противоположного вердикта «взять» против «отказ». То есть модель не ошибается опасно, но и уверенности выше подбрасывания монеты не даёт.

Итог теста одним кадром: модель не ошибается опасно, но и уверенности выше монеты не даёт
Итог теста одним кадром: модель не ошибается опасно, но и уверенности выше монеты не даёт
Автор: Кадроград

Что нейросеть делает хорошо

Шум-фильтр работает: все три откровенно нерелевантных кандидата (выпускник без опыта, дизайнер «хочу попробовать», ищущий первую в жизни B2B-продажу колл-центрщик) отсеяны уверенно и с корректными причинами. Если у вас сотня откликов и треть из них — такие, модель честно сэкономит вам вечера.

Отдельно порадовало, что модель не покупается на красивые слова. Резюме выпускника с «коммуникабельный, стрессоустойчивый, нацелен на результат» она разложила без всякого уважения к эпитетам.

Где модель ошиблась, и это показательно

Ошибка первая, самая важная: модель читает резюме буквально. Кандидат 5 — три года B2B в автозапчастях, работа в Битрикс24, две разные модели продаж — получила «на подумать» за то, что в резюме нет букв «холодные звонки». Человек три года продавал оптом: звонки там предполагаются по определению. Живой рекрутер это видит, нейросеть — нет: раз слова нет, значит требования не подтверждены.

Ошибка вторая: модель пропустила прямое несоответствие. Кандидат 7 прямо написал «рассматриваю удалёнку», в вакансии — офис. Для живого рекрутера это конец обсуждения независимо от портфеля в 40 миллионов. Модель отметила это в графе «риски» и всё равно дала «на подумать». Она умеет замечать противоречие, но не умеет делать из него решительный вывод.

Ошибка третья — скорее предупреждение: в графе «риски» модель пишет уверенные причины и для своих верных решений, и для ошибочных. Отличить одно от другого по стилю текста невозможно. Это самое опасное свойство: заскринингованный ею кандидат всегда выглядит аккуратно оценённым.

И нюанс по экономии времени: четыре «на подумать» из восьми — это 50% пула, который остаётся на живой просмотр. То есть первая фильтрация не «сократит работу в два раза», а отрежет только явно нерелевантное.

Вывод

Как первый фильтр на мусор — можно брать, формат «один промт, вердикт, причина» работает и повторяем. Как замена решения — нельзя: буквальное чтение резюме и неумение доводить противоречие до вердикта дают слишком много серой зоны.

Если будете повторять, мой совет: не просите модель «оценить кандидата», просите её ответить по одному узкому вопросу за запрос — «есть ли в тексте подтверждение каждого требования вакансии, построчно». В моём тесте модель спотыкалась ровно там, где от неё требовали управленческое решение вместо фактчекинга.

Автор не входит в состав редакции iXBT.com (подробнее »)
Об авторе
Сооснователь Кадрограда, HR-эксперт. Специализиру.cm на подборе, оценке и адаптации сотрудников, с отдельным фокусом на менеджерах по продажам. Разбира. найм не только по резюме, но и по задаче бизнеса, мотивации кандидата, рабочему контексту и процессу после выхода. Пишe о собеседованиях, рынке кандидатов, адаптации и HR-процессах.

4 комментария

Добавить комментарий

U
По-хорошему было бы попробовать не только простую модель от одного ИИ-вендора, но и более умные, рассуждающие модели от разных. Вполне возможно, результат был бы лучше.
L
«Статья написана ИИ»
Mindkiller
Кандидат 7 прямо написал «рассматриваю удалёнку», в вакансии — офис. Для живого рекрутера это конец обсуждения

Конец мог бы быть, если бы было написано «Рассматриваю исключительно удалёнку». В данном случае просто невнимательность рекрутера.
m
Первичный просмотр резюме — самая нудная и самая дорогая по времени часть найма.
Казалось бы что сильно сложнее и дольше — описать профиль должности и чем именно будет заниматься человек на этой должности.
Кандидат 7 прямо написал «рассматриваю удалёнку», в вакансии — офис.

Это проблемы скорее рекрутера. «рассматриваю удаленку» не равно «рассматриваю только удаленку». Тут нужно контекст рассматривать.

Добавить комментарий

Сейчас на главной

Новости

Публикации

На остров выпустили 29 северных оленей. Через 19 лет их стало 6000, а затем популяция рухнула почти до нуля

В августе 1944 года на остров Святого Матфея в Беринговом море доставили 29 северных оленей — 24 самки и пять самцов. Их привезли с острова Нунивак как живой запас мяса для сотрудников...

✦ ИИ  Сколько «стоит» русский язык в нейросетях: посчитал токены одного текста в пяти токенизаторах

Нейросети по API считают токены, а не слова. Я прогнал одно рабочее письмо на русском и английском через пять токенизаторов и посчитал, во сколько раз русский текст дороже.

ДТ-54: легенда и рабочая лошадка СССР

Это один из самых узнаваемых гусеничных тракторов СССР. Его силуэт прочно вошёл в образ послевоенного подъёма: он пахал целину, тянул стройки, помогал восстанавливать страну. За 30 лет производства...

Гуляш: как еда венгерских пастухов из котла превратилась в национальное блюдо

У гуляша странная судьба: за пределами Венгрии его часто представляют густым мясным рагу, а в самой стране под словом gulyás прежде всего понимают суп — наваристый, папричный, с...