На светлом фоне в центре изображены чашечные весы с тёмным основанием и зелёно-бирюзовыми деталями. Обе чаши находятся на одном уровне.
21 ноябрь 20263 мин

Что означает вероятность в прогнозе модели и как проверить её калибровку

Вероятность в прогнозе модели можно сравнить с долей событий среди похожих прогнозов. Разбираемся, как провести такую проверку на отложенных данных и почему одного исхода недостаточно.

В бинарной классификации модель оценивает вероятность положительного класса — одного из двух возможных исходов. Если среди объектов с прогнозом около 0,8 положительный исход встречается примерно в 80% случаев, прогнозы этой группы согласуются с наблюдаемой долей.

Такое сравнение помогает оценить калибровку модели. Для проверки нужна группа прогнозов с известными исходами. Один исход не подтверждает и не опровергает калибровку: по нему нельзя оценить частоту события в группе.

Как понимать вероятность положительного класса

Бинарная классификация — задача, в которой рассматривают два возможных класса. Например, событие либо произошло, либо не произошло. Положительным называют класс, вероятность которого оценивает модель.

Прогноз около 0,8 не обещает, что событие произойдёт для конкретного объекта. Его групповая интерпретация другая: у хорошо откалиброванной модели среди объектов с такой оценкой положительный класс должен встречаться примерно в 80% случаев. Этот пример приведён в документации scikit-learn по калибровке.

Как проверить калибровку по группе прогнозов

Понадобятся прогнозируемые вероятности и известные исходы для тех же объектов. Для оценки на новых данных используйте тестовую выборку — данные, отделённые от данных обучения.

Сравните прогнозы с исходами:

  1. Объедините объекты с близкими прогнозируемыми вероятностями в группы.
  2. Для каждой группы найдите среднюю прогнозируемую вероятность.
  3. Найдите долю объектов с положительным исходом в каждой группе.
  4. Сравните два значения внутри каждой группы.

Если значения близки, прогнозы в этой группе согласуются с наблюдаемой долей. Если они заметно расходятся, это может указывать на некалиброванность. При интерпретации учитывайте, сколько объектов попало в группу.

Рассмотрим условный учебный пример. Для 10 объектов модель оценила вероятность положительного класса в 0,8. Когда исходы стали известны, положительными оказались 8 из 10. Средний прогноз в группе — 0,8, наблюдаемая доля — 8/10, или тоже 0,8.

В этой группе значения совпали. Но пример не доказывает калибровку модели во всём диапазоне вероятностей: нужно рассмотреть и другие группы. На практике в группу могут входить не только одинаковые, но и близкие оценки, поэтому для сравнения берут их среднее.

Как читать кривую калибровки

Кривая калибровки показывает сравнение по группам: для каждой из них сопоставляются средняя прогнозируемая вероятность и доля положительных исходов. Так можно увидеть, где эти значения близки, а где расходятся.

В scikit-learn 1.9.1 функция calibration_curve возвращает долю положительных исходов и среднюю прогнозируемую вероятность для каждой непустой группы. Пустые группы в результат не входят. Документация также отмечает, что увеличение числа групп требует больше данных.

Что нельзя заключить по одному прогнозу

Вернёмся к объекту с оценкой 0,8. Событие для него может произойти или не произойти. Ни тот ни другой исход сам по себе не подтверждает и не опровергает калибровку: один объект не позволяет оценить частоту события в группе подобных прогнозов.

Важно и то, как используется тестовая выборка. Если многократно настраивать модель по ней, оценка способности модели работать на новых данных может исказиться. Подробнее об отделении тестовых данных — в документации scikit-learn.

Чтобы попробовать проверку самостоятельно, соберите для отложенных данных прогнозы вероятностей и соответствующие известные исходы. Сгруппируйте близкие прогнозы и сравните в каждой группе среднюю вероятность с долей положительных исходов, учитывая размер группы.

Прозрачная линейка с делениями разной ширины расположена по диагонали на светлом фоне; тёмные контуры и зелёно-бирюзовый акцент.
22 ноябрь 20265 мин

Как ширина интервалов меняет вид гистограммы

Ширина интервалов меняет группировку значений и вид гистограммы, но не сами данные. Разбираемся, как сравнить два разбиения одной выборки и проверить визуальный вывод по исходным значениям.

Читать далее
На светлом фоне по центру расположена зелёно-бирюзовая бумажная лента с вырезом; её концы соединены внахлёст.
21 ноябрь 20263 мин

Как один ген может давать разные варианты матричной РНК

Разбираем альтернативный сплайсинг на условной схеме экзонов и объясняем, почему различия между вариантами мРНК не доказывают наличие отдельного белка для каждого из них.

Читать далее
На светлом фоне — крупная стилизованная модель двойной спирали ДНК с тёмными контурами и зелёно-бирюзовыми деталями.
15 ноябрь 20263 мин

Что такое аллели и почему у одного участка ДНК могут быть разные версии

Аллель — одна из возможных версий последовательности ДНК в определённом месте генома. На условном примере разбираем, как сравнить две копии участка и что означают гомозиготность и гетерозиготность.

Читать далее
На светлом фоне крупный тёмный перекидной календарь с приподнятыми листами; край одного листа зелёно-бирюзовый.
14 ноябрь 20264 мин

Почему прогноз на будущее проверяют иначе, чем модель на случайных строках

Если модель предсказывает будущие измерения по прошлым, проверять её стоит на более позднем периоде. Разбираем на условном примере, чем такая проверка отличается от случайного разбиения и что учесть при использовании TimeSeriesSplit.

Читать далее

Остались вопросы?

Оставьте заявку и мы свяжемся с Вами в ближайшее время