/ru/research · что мы измерили
Заказчику нужен закрытый контур, значит проверку соответствия кандидата вакансии надо считать без внешнего API. Разметку взяли у самого облака — 181 117 его вердиктов уже лежали в базе. Метрикой сделали не «лучше облака», а «воспроизводит облако», и у этого есть измеренный потолок: 0.924, а не 1.0. Кросс-энкодер на 178M параметров закрывает две трети разрыва, считает на CPU за 171 мс на пару и стоит 0.77 доллара аренды. Отдельно — три места, где качество теряется молча, и как каждое ловится.
Мы считаем соответствие кандидата вакансии: у вакансии есть список требований, у кандидата — резюме, и на каждую пару нужен ответ «закрыто или нет» плюс строка объяснения для чек-листа. Сейчас это делает облачная модель по промпту. Работает, но у такого решения два свойства, которые рано или поздно становятся проблемой: за него платят по токенам, и оно требует, чтобы данные кандидата ушли наружу.
Второе важнее первого. Заказчику, который ставит систему к себе, мы обещаем закрытый контур — а контур с вызовом внешнего API закрытым не является ни в каком смысле. Поэтому вопрос стоял не «можно ли сэкономить», а «можно ли считать это у себя», и критерий был не «лучше облака», а «достаточно похоже на облако, чтобы заменить его в продукте».
Короткий ответ: можно. Модель на 178 миллионов параметров, исполняемая внутри приложения на процессоре, воспроизводит вердикт облака с ROC-AUC 0.885 при измеренном потолке 0.924, тратит 171 миллисекунду на пару и обошлась в 0.77 доллара аренды видеокарты.
Длинный ответ — про то, как мерили, и про три места, где качество теряется так, что ни один тест не краснеет.
Главная причина, по которой эта затея вообще выполнима: размеченные данные у нас уже были и копились сами. Каждый вердикт облака продукт пишет в базу — не ради обучения, а потому что чек-лист надо кому-то показывать и не пересчитывать заново.
decided_by = 'llm' 181 117
decided_by = 'skills' 58 346
181 тысяча пар «требование + резюме → решение», накопленных за месяцы работы продукта. Это и есть учебник. Метод называется дистилляцией: большая модель учит маленькую, но в отличие от классической схемы нам не пришлось ничего генерировать специально — ответы большой модели были побочным продуктом обычной работы.
Из них в обучение пошли не все: взяли 13 000 офферов, оставили только уверенные решения (`matched
= 0.9
против<= 0.1`, середину выбросили — 23 577 пар), и получили 85 934 примера на 426 вакансиях для обучения и 18 792 на 105 вакансиях для проверки.
Разбиение по ВАКАНСИЯМ, а не по парам — и это не педантизм. У одной вакансии требования повторяются во всех офферах дословно: разбей по парам, и одно и то же требование окажется в обеих половинах. Модель покажет качество на виденном, а вы этого не заметите, потому что формально пересечения примеров нет.
Обычная ловушка при замене облачной модели своей — сравнивать их между собой и радоваться близким числам. Но если эталон — вердикт облака, то стоит спросить: а насколько само облако воспроизводит свой вердикт?
Мы это измерили отдельно, до всякого обучения. Взяли 591 пару, у которых вердикт уже лежал в базе, и позвали ту же модель тем же промптом ещё раз, выключив кэш прокси (иначе повтор вернул бы записанный ответ и показал бы ложное идеальное самосогласие).
| что сравнивается | совпало решений | ROC-AUC |
|---|---|---|
| второй вызов против первого, тот же вход, тот же час | 98% | 0.983 |
| новый вызов против ЗАПИСАННОГО в базе вердикта | 92% | 0.924 |
Два вывода, и оба меняют постановку задачи.
Первый: модель почти детерминирована — 98% и AUC 0.983. Расхождения, которые мы видели, объяснялись не «температурой», вопреки распространённому ожиданию.
Второй, важный: потолок для любой системы, обученной на этом эталоне, — 0.924, а не 1.0. Восемь процентов расхождения дают дрейф данных (резюме пополняются) и смена версий модели и промпта за время накопления вердиктов. Это значит, что число 0.885 надо читать не как «на 0.115 хуже идеала», а как «две трети достижимого разрыва закрыты».
Без этого замера мы бы гнались за единицей и считали результат провальным.
Базовая линия — не пустое место. До моделей проверка считалась инженерным набором признаков: лексика, извлечённые термины, словарь синонимов, признаки длины. Он строился долгой серией замеров и даёт 0.829.
| модель | параметров | ROC-AUC | CPU, пачкой | на вакансию (110 пар) |
|---|---|---|---|---|
| комбинация признаков БЕЗ модели | — | 0.829 | — | — |
rubert-tiny2 |
29M | 0.801 | 16 мс | 1.7 с |
paraphrase-multilingual-MiniLM-L12-v2 |
118M | 0.830 | 93 мс | 10.3 с |
intfloat/multilingual-e5-base |
278M | 0.885 | 258 мс | 28 с |
bert-base-multilingual-cased |
178M | 0.885 | 171 мс | 18.8 с |
| потолок: облако против своего же вердикта | — | 0.924 | — | — |
Числа на CPU сняты в восемь потоков, пачкой; по одной паре выходит 182 мс. При ширине отбора 200 кандидатов на вакансию приходится около 110 проверок — то есть девятнадцать секунд на вакансию. Это фоновая задача, а не интерактивный ответ, и в такой бюджет она укладывается с запасом.
Обучение: две эпохи на арендованной RTX 3090, час на эпоху, 0.386 доллара в час. Вся модель — 77 центов.
multilingual-e5-base дала 0.885 первой. И оказалась неисполнимой внутри продукта — по
причине, которая не имеет отношения ни к размеру, ни к качеству.
Наш продукт на TypeScript, модель считает onnxruntime-node прямо в процессе. Токенизацию делает
свой код — сто строк WordPiece без единой зависимости. А e5-base из семейства XLM-RoBERTa, и
токенизируется она алгоритмом Unigram (SentencePiece) со сжатым нормализатором на 250 002 токена.
Своя реализация Unigram дала бы другие номера токенов — не хуже, а другие, — и модель отвечала
бы бессмыслицей, не падая.
Отсюда правило, которое стоит знать до выбора базы: проверьте, чем токенизируется кандидат, и сможете ли вы это повторить в своём рантайме. Иначе лучший результат замера окажется картинкой, которую нельзя поставить.
Мы взяли bert-base-multilingual-cased — WordPiece, то есть исполнима, — и получили ровно те же
0.885 и вдвое быстрее. Ограничение не стоило качества. Но узнали мы это, только когда обучили
вторую модель: заранее такого обещать было нельзя.
Вот это, а не обучение, оказалось самой трудной частью.
Модель обучена питоновским transformers, а исполняется у нас своим токенизатором и
onnxruntime-node. Между этими двумя мирами три места, где легко разойтись, и ни одно из них не
падает при ошибке: номера токенов, разметка сегментов и свёртка выхода. Модель продолжает
отвечать, просто отвечает не то.
Одно из трёх и разошлось. Кросс-энкодер получает пару как [CLS] требование [SEP] резюме [SEP], и
у BERT есть отдельный вход token_type_ids, которым размечается, где тут первый отрезок, а где
второй. Мы подавали туда нули.
Токены при этом совпадали с эталоном точно. А числа — вот:
| пара | наш путь | эталон питона |
|---|---|---|
| «Опыт Python от 3 лет» ↔ Python-разработчик, 5 лет | 0.807 | 0.835 |
| «Знание Kubernetes и Helm» ↔ фронтендер без инфраструктуры | 0.795 | 0.011 |
| «Английский не ниже Upper-Intermediate» ↔ английский C1 | 0.776 | 0.181 |
Модель отвечала почти одинаково на что угодно — 0.78…0.82 на любой вход. Со стороны продукта это выглядит как работающая проверка: числа правдоподобные, ошибок нет, чек-лист заполняется. Заказчик получил бы шум вместо оценки и не смог бы этого заметить.
После починки — совпадение до четвёртого знака, Δ = 0.00000 на всех трёх парах.
Держит это теперь тест, и он проверяет три разные вещи:
Тот же приём мы применили к эмбеддеру, когда переносили расчёт векторов из отдельного HTTP-сервиса внутрь приложения. Там цена ошибки ещё выше: в базе 102 713 векторов кандидатов, и вектор, посчитанный чуть иначе, попадает в другое пространство — косинус между ним и накопленными не значит ничего. Поиск при этом работает и находит случайных людей. Критерий поставили жёсткий: не «похоже», а косинус выше 0.9999 с живым сервисом на строках разной длины и состава. Сошлось — переключили.
Один раз мы уже наступали на это, не измерив: векторы специализаций оказались посчитаны старой моделью, косинус со свежими 0.47, и обнаружилось это спустя месяцы.
Сорванное обучение выглядит как отрицательный результат направления. Первый прогон e5-base
дал 0.499 — уровень монетки. Это была не модель: lr = 3e-5, loss застрял на 0.6255 (у
соседней модели на том же наборе 0.24), веса не сдвинулись. С lr = 1e-5 та же модель на том же
наборе дала 0.885. Разница между «направление не работает» и лучшим числом замера — одна цифра в
скорости обучения. Отличать сорванный прогон от результата надо по loss рядом с метрикой, а не
по метрике одной.
Генеративная модель считает оценку хуже и дороже. Мы отдельно обучили LoRA-адаптер поверх
Qwen2.5-1.5B-Instruct — 18.5M обучаемых весов из 1562M. Формат она держит идеально (300 разборов
из 300), комментарии пишет осмысленные и на нужном языке, но ROC-AUC даёт 0.746 при 1731 мс на
GPU — против 0.885 и 258 мс на CPU у кросс-энкодера. На порядок дороже за худший ответ.
Отсюда раскладка контура, и она не «или-или»: кросс-энкодер считает оценку на всех кандидатах, генеративная модель объясняет решение по тем немногим, что дошли до чек-листа. Число и объяснение — разные задачи, и пытаться закрыть обе одной моделью незачем.
Обучение — это час счёта и три дня граблей. Три из них обошлись дороже всего, и все три молчаливые.
Замер после обучения уносил обучение. Скрипт сохранял веса в самом конце: обучил → померил
скорость на CPU → сохранил. Замер падал Segmentation fault, и два часа обучения пропадали целиком
— при том что в логе стояли успешные числа. Причина нашлась воспроизведением в лоб: переменная
PYTORCH_CUDA_ALLOC_CONF=expandable_segments:True, которую мы ставили всем прогонам подряд, рушит
кучу при первом же проходе по CPU после обучения на CUDA. Двадцать шагов обучения → .to("cpu") →
одна пачка: с переменной «corrupted top size», без неё проходит.
Починка не в переменной, а в порядке: веса сохраняются после каждой эпохи, до всяких замеров, а замер вынесен отдельным скриптом по сохранённому каталогу. Теперь его отказ не может унести обучение, и перемерить модель можно, не переобучая.
Ожидание конца прогона не кончалось никогда. Скрипт ждал, пока на арендованной машине исчезнет
процесс: pgrep -f distill-train.py. Эта проверка находит сама себя — имя скрипта стоит в
аргументах того самого bash -c, внутри которого она запущена. Обучение умерло, а ожидание
крутилось ещё двадцать минут и со стороны выглядело как «идёт». Заменили на ожидание по PID.
Паспорт модели, написанный по памяти, врёт. Один раз в каталоге лежали веса, подписанные как лучшая модель замера. Проверка показала константный предсказатель: одно и то же число на любой вход. Оказалось, сорванный прогон запускался с ключом сохранения, а удачный повтор — без него; сохранилось то, что писал первый, а описание набиралось руками из головы. Теперь паспорт пишет прогон: параметры, объём набора и метрику записывает обучение, миллисекунды дописывает замер, и разойтись с весами им негде.
Если вы собираетесь делать то же самое, порядок такой.