В бинарной классификации модель оценивает вероятность положительного класса — одного из двух возможных исходов. Если среди объектов с прогнозом около 0,8 положительный исход встречается примерно в 80% случаев, прогнозы этой группы согласуются с наблюдаемой долей.
Такое сравнение помогает оценить калибровку модели. Для проверки нужна группа прогнозов с известными исходами. Один исход не подтверждает и не опровергает калибровку: по нему нельзя оценить частоту события в группе.
Как понимать вероятность положительного класса
Бинарная классификация — задача, в которой рассматривают два возможных класса. Например, событие либо произошло, либо не произошло. Положительным называют класс, вероятность которого оценивает модель.
Прогноз около 0,8 не обещает, что событие произойдёт для конкретного объекта. Его групповая интерпретация другая: у хорошо откалиброванной модели среди объектов с такой оценкой положительный класс должен встречаться примерно в 80% случаев. Этот пример приведён в документации scikit-learn по калибровке.
Как проверить калибровку по группе прогнозов
Понадобятся прогнозируемые вероятности и известные исходы для тех же объектов. Для оценки на новых данных используйте тестовую выборку — данные, отделённые от данных обучения.
Сравните прогнозы с исходами:
- Объедините объекты с близкими прогнозируемыми вероятностями в группы.
- Для каждой группы найдите среднюю прогнозируемую вероятность.
- Найдите долю объектов с положительным исходом в каждой группе.
- Сравните два значения внутри каждой группы.
Если значения близки, прогнозы в этой группе согласуются с наблюдаемой долей. Если они заметно расходятся, это может указывать на некалиброванность. При интерпретации учитывайте, сколько объектов попало в группу.
Рассмотрим условный учебный пример. Для 10 объектов модель оценила вероятность положительного класса в 0,8. Когда исходы стали известны, положительными оказались 8 из 10. Средний прогноз в группе — 0,8, наблюдаемая доля — 8/10, или тоже 0,8.
В этой группе значения совпали. Но пример не доказывает калибровку модели во всём диапазоне вероятностей: нужно рассмотреть и другие группы. На практике в группу могут входить не только одинаковые, но и близкие оценки, поэтому для сравнения берут их среднее.
Как читать кривую калибровки
Кривая калибровки показывает сравнение по группам: для каждой из них сопоставляются средняя прогнозируемая вероятность и доля положительных исходов. Так можно увидеть, где эти значения близки, а где расходятся.
В scikit-learn 1.9.1 функция calibration_curve возвращает долю положительных исходов и среднюю прогнозируемую вероятность для каждой непустой группы. Пустые группы в результат не входят. Документация также отмечает, что увеличение числа групп требует больше данных.
Что нельзя заключить по одному прогнозу
Вернёмся к объекту с оценкой 0,8. Событие для него может произойти или не произойти. Ни тот ни другой исход сам по себе не подтверждает и не опровергает калибровку: один объект не позволяет оценить частоту события в группе подобных прогнозов.
Важно и то, как используется тестовая выборка. Если многократно настраивать модель по ней, оценка способности модели работать на новых данных может исказиться. Подробнее об отделении тестовых данных — в документации scikit-learn.
Чтобы попробовать проверку самостоятельно, соберите для отложенных данных прогнозы вероятностей и соответствующие известные исходы. Сгруппируйте близкие прогнозы и сравните в каждой группе среднюю вероятность с долей положительных исходов, учитывая размер группы.




