Все исследования

/ru/research · что мы измерили

Уйти из облака в узкие локальные модели: 0.885 на процессоре при потолке 0.924 — и чем это доказано

Заказчику нужен закрытый контур, значит проверку соответствия кандидата вакансии надо считать без внешнего API. Разметку взяли у самого облака — 181 117 его вердиктов уже лежали в базе. Метрикой сделали не «лучше облака», а «воспроизводит облако», и у этого есть измеренный потолок: 0.924, а не 1.0. Кросс-энкодер на 178M параметров закрывает две трети разрыва, считает на CPU за 171 мс на пару и стоит 0.77 доллара аренды. Отдельно — три места, где качество теряется молча, и как каждое ловится.

Авторы: slavb18
  • AI
  • LLM
  • ML
  • Research
  • Distillation
  • ONNX
  • CPU
  • Fine-tuning
  • Cross-encoder
  • Self-hosting

Мы считаем соответствие кандидата вакансии: у вакансии есть список требований, у кандидата — резюме, и на каждую пару нужен ответ «закрыто или нет» плюс строка объяснения для чек-листа. Сейчас это делает облачная модель по промпту. Работает, но у такого решения два свойства, которые рано или поздно становятся проблемой: за него платят по токенам, и оно требует, чтобы данные кандидата ушли наружу.

Второе важнее первого. Заказчику, который ставит систему к себе, мы обещаем закрытый контур — а контур с вызовом внешнего API закрытым не является ни в каком смысле. Поэтому вопрос стоял не «можно ли сэкономить», а «можно ли считать это у себя», и критерий был не «лучше облака», а «достаточно похоже на облако, чтобы заменить его в продукте».

Короткий ответ: можно. Модель на 178 миллионов параметров, исполняемая внутри приложения на процессоре, воспроизводит вердикт облака с ROC-AUC 0.885 при измеренном потолке 0.924, тратит 171 миллисекунду на пару и обошлась в 0.77 доллара аренды видеокарты.

Длинный ответ — про то, как мерили, и про три места, где качество теряется так, что ни один тест не краснеет.

Разметку даёт то, что вы уже записали

Главная причина, по которой эта затея вообще выполнима: размеченные данные у нас уже были и копились сами. Каждый вердикт облака продукт пишет в базу — не ради обучения, а потому что чек-лист надо кому-то показывать и не пересчитывать заново.

decided_by = 'llm'     181 117
decided_by = 'skills'   58 346

181 тысяча пар «требование + резюме → решение», накопленных за месяцы работы продукта. Это и есть учебник. Метод называется дистилляцией: большая модель учит маленькую, но в отличие от классической схемы нам не пришлось ничего генерировать специально — ответы большой модели были побочным продуктом обычной работы.

Из них в обучение пошли не все: взяли 13 000 офферов, оставили только уверенные решения (`matched

= 0.9против<= 0.1`, середину выбросили — 23 577 пар), и получили 85 934 примера на 426 вакансиях для обучения и 18 792 на 105 вакансиях для проверки.

Разбиение по ВАКАНСИЯМ, а не по парам — и это не педантизм. У одной вакансии требования повторяются во всех офферах дословно: разбей по парам, и одно и то же требование окажется в обеих половинах. Модель покажет качество на виденном, а вы этого не заметите, потому что формально пересечения примеров нет.

Метрика: не «лучше облака», а «воспроизводит облако» — и у этого есть потолок

Обычная ловушка при замене облачной модели своей — сравнивать их между собой и радоваться близким числам. Но если эталон — вердикт облака, то стоит спросить: а насколько само облако воспроизводит свой вердикт?

Мы это измерили отдельно, до всякого обучения. Взяли 591 пару, у которых вердикт уже лежал в базе, и позвали ту же модель тем же промптом ещё раз, выключив кэш прокси (иначе повтор вернул бы записанный ответ и показал бы ложное идеальное самосогласие).

что сравнивается совпало решений ROC-AUC
второй вызов против первого, тот же вход, тот же час 98% 0.983
новый вызов против ЗАПИСАННОГО в базе вердикта 92% 0.924

Два вывода, и оба меняют постановку задачи.

Первый: модель почти детерминирована — 98% и AUC 0.983. Расхождения, которые мы видели, объяснялись не «температурой», вопреки распространённому ожиданию.

Второй, важный: потолок для любой системы, обученной на этом эталоне, — 0.924, а не 1.0. Восемь процентов расхождения дают дрейф данных (резюме пополняются) и смена версий модели и промпта за время накопления вердиктов. Это значит, что число 0.885 надо читать не как «на 0.115 хуже идеала», а как «две трети достижимого разрыва закрыты».

Без этого замера мы бы гнались за единицей и считали результат провальным.

Что получилось

Базовая линия — не пустое место. До моделей проверка считалась инженерным набором признаков: лексика, извлечённые термины, словарь синонимов, признаки длины. Он строился долгой серией замеров и даёт 0.829.

модель параметров ROC-AUC CPU, пачкой на вакансию (110 пар)
комбинация признаков БЕЗ модели — 0.829 — —
rubert-tiny2 29M 0.801 16 мс 1.7 с
paraphrase-multilingual-MiniLM-L12-v2 118M 0.830 93 мс 10.3 с
intfloat/multilingual-e5-base 278M 0.885 258 мс 28 с
bert-base-multilingual-cased 178M 0.885 171 мс 18.8 с
потолок: облако против своего же вердикта — 0.924 — —

Числа на CPU сняты в восемь потоков, пачкой; по одной паре выходит 182 мс. При ширине отбора 200 кандидатов на вакансию приходится около 110 проверок — то есть девятнадцать секунд на вакансию. Это фоновая задача, а не интерактивный ответ, и в такой бюджет она укладывается с запасом.

Обучение: две эпохи на арендованной RTX 3090, час на эпоху, 0.386 доллара в час. Вся модель — 77 центов.

Ограничение, которое чуть не стоило лучшего результата: токенизатор

multilingual-e5-base дала 0.885 первой. И оказалась неисполнимой внутри продукта — по причине, которая не имеет отношения ни к размеру, ни к качеству.

Наш продукт на TypeScript, модель считает onnxruntime-node прямо в процессе. Токенизацию делает свой код — сто строк WordPiece без единой зависимости. А e5-base из семейства XLM-RoBERTa, и токенизируется она алгоритмом Unigram (SentencePiece) со сжатым нормализатором на 250 002 токена. Своя реализация Unigram дала бы другие номера токенов — не хуже, а другие, — и модель отвечала бы бессмыслицей, не падая.

Отсюда правило, которое стоит знать до выбора базы: проверьте, чем токенизируется кандидат, и сможете ли вы это повторить в своём рантайме. Иначе лучший результат замера окажется картинкой, которую нельзя поставить.

Мы взяли bert-base-multilingual-cased — WordPiece, то есть исполнима, — и получили ровно те же 0.885 и вдвое быстрее. Ограничение не стоило качества. Но узнали мы это, только когда обучили вторую модель: заранее такого обещать было нельзя.

Как проверяли, что продукт считает то же самое

Вот это, а не обучение, оказалось самой трудной частью.

Модель обучена питоновским transformers, а исполняется у нас своим токенизатором и onnxruntime-node. Между этими двумя мирами три места, где легко разойтись, и ни одно из них не падает при ошибке: номера токенов, разметка сегментов и свёртка выхода. Модель продолжает отвечать, просто отвечает не то.

Одно из трёх и разошлось. Кросс-энкодер получает пару как [CLS] требование [SEP] резюме [SEP], и у BERT есть отдельный вход token_type_ids, которым размечается, где тут первый отрезок, а где второй. Мы подавали туда нули.

Токены при этом совпадали с эталоном точно. А числа — вот:

пара наш путь эталон питона
«Опыт Python от 3 лет» ↔ Python-разработчик, 5 лет 0.807 0.835
«Знание Kubernetes и Helm» ↔ фронтендер без инфраструктуры 0.795 0.011
«Английский не ниже Upper-Intermediate» ↔ английский C1 0.776 0.181

Модель отвечала почти одинаково на что угодно — 0.78…0.82 на любой вход. Со стороны продукта это выглядит как работающая проверка: числа правдоподобные, ошибок нет, чек-лист заполняется. Заказчик получил бы шум вместо оценки и не смог бы этого заметить.

После починки — совпадение до четвёртого знака, Δ = 0.00000 на всех трёх парах.

Держит это теперь тест, и он проверяет три разные вещи:

  1. совпадение с эталоном до 1e-4 — расхождение в третьем знаке означало бы другой вход, а не другую точность;
  2. отсутствие вырождения — разброс оценок на трёх парах больше 0.5. Проверяется ОТДЕЛЬНО от совпадения, потому что сверка с эталоном вырождение не поймает, если эталон снят тем же сломанным входом;
  3. разметка сегментов вообще расставлена — первый токен в нулевом отрезке, последний в первом.

Тот же приём мы применили к эмбеддеру, когда переносили расчёт векторов из отдельного HTTP-сервиса внутрь приложения. Там цена ошибки ещё выше: в базе 102 713 векторов кандидатов, и вектор, посчитанный чуть иначе, попадает в другое пространство — косинус между ним и накопленными не значит ничего. Поиск при этом работает и находит случайных людей. Критерий поставили жёсткий: не «похоже», а косинус выше 0.9999 с живым сервисом на строках разной длины и состава. Сошлось — переключили.

Один раз мы уже наступали на это, не измерив: векторы специализаций оказались посчитаны старой моделью, косинус со свежими 0.47, и обнаружилось это спустя месяцы.

Отрицательные результаты, без которых картина неполная

Сорванное обучение выглядит как отрицательный результат направления. Первый прогон e5-base дал 0.499 — уровень монетки. Это была не модель: lr = 3e-5, loss застрял на 0.6255 (у соседней модели на том же наборе 0.24), веса не сдвинулись. С lr = 1e-5 та же модель на том же наборе дала 0.885. Разница между «направление не работает» и лучшим числом замера — одна цифра в скорости обучения. Отличать сорванный прогон от результата надо по loss рядом с метрикой, а не по метрике одной.

Генеративная модель считает оценку хуже и дороже. Мы отдельно обучили LoRA-адаптер поверх Qwen2.5-1.5B-Instruct — 18.5M обучаемых весов из 1562M. Формат она держит идеально (300 разборов из 300), комментарии пишет осмысленные и на нужном языке, но ROC-AUC даёт 0.746 при 1731 мс на GPU — против 0.885 и 258 мс на CPU у кросс-энкодера. На порядок дороже за худший ответ.

Отсюда раскладка контура, и она не «или-или»: кросс-энкодер считает оценку на всех кандидатах, генеративная модель объясняет решение по тем немногим, что дошли до чек-листа. Число и объяснение — разные задачи, и пытаться закрыть обе одной моделью незачем.

Чего стоит инфраструктура вокруг

Обучение — это час счёта и три дня граблей. Три из них обошлись дороже всего, и все три молчаливые.

Замер после обучения уносил обучение. Скрипт сохранял веса в самом конце: обучил → померил скорость на CPU → сохранил. Замер падал Segmentation fault, и два часа обучения пропадали целиком — при том что в логе стояли успешные числа. Причина нашлась воспроизведением в лоб: переменная PYTORCH_CUDA_ALLOC_CONF=expandable_segments:True, которую мы ставили всем прогонам подряд, рушит кучу при первом же проходе по CPU после обучения на CUDA. Двадцать шагов обучения → .to("cpu") → одна пачка: с переменной «corrupted top size», без неё проходит.

Починка не в переменной, а в порядке: веса сохраняются после каждой эпохи, до всяких замеров, а замер вынесен отдельным скриптом по сохранённому каталогу. Теперь его отказ не может унести обучение, и перемерить модель можно, не переобучая.

Ожидание конца прогона не кончалось никогда. Скрипт ждал, пока на арендованной машине исчезнет процесс: pgrep -f distill-train.py. Эта проверка находит сама себя — имя скрипта стоит в аргументах того самого bash -c, внутри которого она запущена. Обучение умерло, а ожидание крутилось ещё двадцать минут и со стороны выглядело как «идёт». Заменили на ожидание по PID.

Паспорт модели, написанный по памяти, врёт. Один раз в каталоге лежали веса, подписанные как лучшая модель замера. Проверка показала константный предсказатель: одно и то же число на любой вход. Оказалось, сорванный прогон запускался с ключом сохранения, а удачный повтор — без него; сохранилось то, что писал первый, а описание набиралось руками из головы. Теперь паспорт пишет прогон: параметры, объём набора и метрику записывает обучение, миллисекунды дописывает замер, и разойтись с весами им негде.

Что из этого переносится

Если вы собираетесь делать то же самое, порядок такой.

  1. Посмотрите, что у вас уже записано. Дистилляция начинается не с генерации данных, а с инвентаризации: ответы облака, которые продукт сохранял по своим причинам, — это готовая разметка. У нас их оказалось 181 117.
  2. Измерьте потолок эталона до обучения. Позовите облако дважды на одном входе и сравните с записанным. Без этого числа непонятно, к чему стремиться и когда останавливаться.
  3. Разбивайте по естественной группе, а не по строкам. Если у сущности повторяются части — делите по сущности.
  4. Выбирая базу, проверьте токенизатор, а не только метрику. Модель, которую ваш рантайм не умеет токенизировать, неисполнима независимо от качества.
  5. Докажите, что продукт считает то же, что обучение. Сверка выхода с эталоном на нескольких входах, отдельная проверка на вырождение, порог жёсткий. Это единственное место, где ошибка не проявляется никак.
  6. Сохраняйте веса раньше, чем меряете. Всё, что стоит между концом обучения и записью на диск, однажды упадёт.

Что не измерено

  • Качество самого эталона. Мы меряем согласие с вердиктом облака, а не правоту. Человеческой разметки нет; «расходится» не равно «ошибается».
  • Экономика. Стоимость облачных вызовов, которые эта модель заменяет, не считалась. Замена затевалась ради контура, и цифра окупаемости здесь не приводится, потому что её не мерили.
  • Качество комментария числом. Осмысленность ответов LoRA оценена глазами на восьми примерах. Видна и слабость: облако цитирует резюме дословно, своя модель обходится общей формулировкой.
  • Другой профиль вакансий. Обучение и проверка — на одном срезе базы.
  • Больше данных. Взято 13 000 офферов из 45 962; одна эпоха LoRA из возможных нескольких.
Все исследования