Одна оценка модели может зависеть от того, какие данные попали в обучающую часть, а какие — в проверочную. Сравнение нескольких разбиений помогает увидеть, меняется ли результат, и не принимать одно число за полное описание качества.
Для такого сравнения используют перекрёстную проверку: части обучающих данных по очереди становятся проверочными. Оценки можно усреднить и рассмотреть по отдельности. Но после выбора настроек модели для итоговой оценки нужен отдельный тестовый набор.
Почему одной проверки недостаточно
Для оценки модели данные разделяют: одну часть используют для обучения, другую — для проверки. При случайном разбиении результат может зависеть от того, какие данные оказались в каждой части. При другом разбиении оценка может измениться.
Несколько проверок позволяют сравнить результаты на выбранных разбиениях. Средняя оценка даёт сводное представление, а отдельные значения показывают, насколько результаты различались между собой. При этом разброс между блоками не описывает всю неопределённость качества модели.
О зависимости результата от разбиения и использовании перекрёстной проверки рассказывает документация scikit-learn.
Как работает перекрёстная проверка по блокам
При k-блочной перекрёстной проверке обучающую выборку делят на части, или блоки. Буква k обозначает число блоков.
В каждом проходе модель обучают на k−1 блоках, а на оставшемся оценивают. Процедуру повторяют так, чтобы каждый блок по очереди стал проверочным.
Проверочный блок внутри процедуры — не то же самое, что отдельный тестовый набор. Тестовый набор откладывают до перекрёстной проверки и сохраняют для итоговой оценки. Описание метода есть в документации scikit-learn.
Как прочитать результаты на условном примере
Предположим, что обучающую выборку разделили на блоки A, B и C. Оценки ниже вымышлены: они иллюстрируют расчёт, а не подтверждают качество конкретной модели. Отдельный тестовый набор в эти блоки не входит.
| Проход | Блоки для обучения | Блок для проверки | Оценка |
|---|---|---|---|
| Первый | B и C | A | 0,7 |
| Второй | A и C | B | 0,8 |
| Третий | A и B | C | 0,9 |
Средняя оценка равна (0,7 + 0,8 + 0,9) / 3 = 0,8. Отдельные результаты находятся в диапазоне от 0,7 до 0,9.
Среднее удобно как сводный результат, но само по себе оно не показывает различий между проходами. Поэтому рядом с ним полезно сохранить оценки по каждому блоку. Эти значения относятся к выбранным блокам и не описывают всю возможную неопределённость качества.
Зачем оставлять отдельный тестовый набор
Перекрёстная проверка не заменяет отложенный тест. Последовательность выглядит так:
- Заранее отложить часть данных для итогового теста.
- На оставшихся данных провести перекрёстную проверку и выбрать настройки модели.
- После выбора настроек использовать отложенный набор для итоговой оценки.
Если многократно менять настройки, ориентируясь на результат теста, сведения о тестовом наборе могут повлиять на модель. Тогда итоговая оценка станет менее надёжным показателем способности модели обобщать результаты на данные, не использованные при настройке. Поэтому тестовый набор не используют для выбора настроек в ходе перекрёстной проверки. Это ограничение описано в документации scikit-learn.
Когда обычные блоки и их разброс могут ввести в заблуждение
Схему разбиения выбирают с учётом устройства данных. Если наблюдения зависят от времени, нужна подходящая схема проверки для временных данных. Если у данных есть групповая структура — например, наблюдения собраны от разных людей или с разных устройств, — используют схему, учитывающую группы.
Важно учитывать и способ формирования блоков. Стратификация — это разбиение с учётом представленности классов. Она может искусственно уменьшать наблюдаемый разброс оценок между проходами, поэтому небольшой разброс не всегда отражает всю неопределённость. Подробнее об этих ограничениях — в документации scikit-learn.
Чтобы применить подход к своей задаче, сначала определите структуру данных: есть ли в них зависимость от времени или группы. Затем заранее отложите тестовый набор, выберите подходящую схему проверки для оставшихся данных и сравните среднюю оценку с результатами отдельных проходов.




