/ru/research · что мы измерили

Исследования

Каждая запись — один вопрос, замер против контролей и то, что не получилось. Код и данные открыты: наши цифры пересчитываются одной командой.

10
записей
55
тем
2026-11-17
обновлено

Агенты спорили и голосовали, а одна модель оказывалась точнее. Почему мы перешли на обмен состояниями

Голосование трёх экспертов 0,848 против 0,893 у одной модели, спор двух моделей хуже одного судьи на 7,7 п.п. [−13,0; −2,3], идеальный обмен добавил бы не больше 2 п.п. Разбираем, почему обмен мнениями не работает, и описываем метод, где агенты передают друг другу не вердикт, а состояние: что знают, что сделали, в чём не уверены. Сам метод пока не измерен, об этом отдельно.

Авторы: slavb18

  • AI
  • LLM
  • Agents
  • Multi-Agent
  • Research
  • HRTech

Гарантия 90% выполнена, а каждый седьмой продвинутый кандидат не сеньор: конформная эскалация на сдвиге навыка

Проверили конформное предсказание как правило «когда звать человека» в скрининге сеньоров. Покрытие на незнакомых навыках 0,913, к человеку уходит 4% интервью, но среди автоматически продвинутых 14,9% ошибок. Простой порог 0,9 по вероятности модели ни в одном из пяти сдвигов покрытие не нарушил: предрегистрированная гипотеза опровергнута.

Авторы: slavb18

  • AI
  • LLM
  • ML
  • Research
  • Conformal Prediction
  • HRTech

Эксперт сдался, а проба говорит, что он остался при своём. Модель без мнения читает то же самое

LoRA-эксперт уступил подставному коллеге в 36,7% случаев, и линейная проба по скрытому состоянию восстанавливала его исходный вердикт с AUC 0,74. После вычета признаков стенограммы осталось 0,63, а модель без адаптера даёт 0,59: разница +0,04, ДИ включает ноль. Заодно посчитали, что идеальный обмен между тремя экспертами добавил бы не больше 2 п.п.

Авторы: slavb18

  • AI
  • LLM
  • LoRA
  • ML
  • Research
  • Interpretability

Jev против дообученного кросс-энкодера: 0.868 против 0.883, и почему интереснее не это

TypeSafe выпустила Jev — модель, которая не пишет текст, а возвращает типизированное решение с калиброванной вероятностью. Мы поставили её на свой отложенный набор из 18 792 пар «требование ↔ резюме» против собственного дообученного кросс-энкодера. Zero-shot Jev дал 0.868 против наших 0.883, и разница оказалась статистически неразличимой. Зато заявленная калибровка на наших данных не подтвердилась (ECE 0.117 против 0.071), а оба числа держатся на дефекте разметки, на который Jev опирается сильнее нашей модели.

Авторы: slavb18

  • AI
  • LLM
  • ML
  • Research
  • Cross-encoder
  • Calibration

Уйти из облака в узкие локальные модели: 0.885 на процессоре при потолке 0.924 — и чем это доказано

Заказчику нужен закрытый контур, значит проверку соответствия кандидата вакансии надо считать без внешнего API. Разметку взяли у самого облака — 181 117 его вердиктов уже лежали в базе. Метрикой сделали не «лучше облака», а «воспроизводит облако», и у этого есть измеренный потолок: 0.924, а не 1.0. Кросс-энкодер на 178M параметров закрывает две трети разрыва, считает на CPU за 171 мс на пару и стоит 0.77 доллара аренды. Отдельно — три места, где качество теряется молча, и как каждое ловится.

Авторы: slavb18

  • AI
  • LLM
  • ML
  • Research
  • Distillation
  • ONNX

Нужен ли late interaction в RAG: замерили вторую фазу поиска и нашли маркер, который не передавали

Двухфазный поиск: обычный вектор отбирает 50 кандидатов, ColBERT-модель их переранжирует. Замерили, сколько вторая фаза стоит и сколько приносит: нужный фрагмент оказывается первым в 73% случаев вместо 36%. По дороге выяснилось, что мы не передавали модели её собственный маркер роли, и это ещё 9 пунктов сверху. Плюс замер цены: пулинг, fp16, int8 и int4 — что из этого бесплатно, а что ломает выдачу.

Авторы: slavb18

  • AI
  • LLM
  • ML
  • Research
  • Retrieval
  • RAG

Дешёвый скор по навыкам обошёл GPU-реранкеры: как мы отсекаем мусорных кандидатов до LLM

В нашем матчинге кандидатов почти половина того, что доходит до дорогого LLM-этапа — мусор. Мы перебрали GPU-реранкеры, дообучение CrossEncoder и комбо признаков, чтобы отфильтровать его дешевле. Победил самый простой сигнал — пересечение навыков. Разбираем цифры, что сработало и почему текст проиграл навыкам.

Авторы: slavb18

  • AI
  • HR Tech
  • LLM
  • Information Retrieval
  • Reranking
  • Cross-Encoder

Латентные дебаты между LoRA-экспертами: две роли из трёх читаются, а канал теряет говорящего

Совет LoRA-экспертов обменивается скрытыми состояниями, а мы пытаемся подслушать обмен. Мысль отдельного эксперта читается, само сообщение канала — теряет автора в 75 случаях из 75. С граблями, замерами, контролями и открытым кодом.

Авторы: slavb18

  • AI
  • LLM
  • LoRA
  • ML
  • Research
  • Latent Space

Сжать четыре токена в один вектор: запускаем автоэнкодер CALM на доменных данных (и на одном CPU)

Взяли автоэнкодер из свежей работы CALM (Continuous Autoregressive Language Models), который учится упаковывать чанк из K=4 токенов в один непрерывный вектор и разворачивать обратно, и обучили его не на 15 миллиардах токенов Pile на 8 GPU, как в оригинале, а на 18 тысячах коротких строк с требованиями из IT-вакансий - на обычной машине без видеокарты. По дороге выгребли три классических грабли (flash-attn без CUDA, deepspeed, который не импортируется под NumPy 2.x, и тихий OOM на 33 ГБ логитов). Ниже - подробный разбор архитектуры, конфигов и честные результаты round-trip-реконструкции.

Авторы: slavb18

  • CALM
  • Автоэнкодер
  • Машинное обучение
  • Глубокое обучение
  • NLP
  • LLM

Поиск идеального матча: тестируем локальные Cross-Encoder модели против NVIDIA Reranker в HR-домене

Практический эксперимент по сравнению локальных кросс-энкодеров (RUbert, BAAI) с облачным реранкером NVIDIA на реальных данных сопоставления вакансий и кандидатов.

Авторы: slavb18

  • AI
  • HR
  • NLP
  • Rerankers
  • Docker