Три ряда по три блока данных: в каждом ряду выделен другой блок; отдельный тестовый блок расположен рядом.
12 ноябрь 20264 мин

Зачем проверять модель на нескольких разбиениях данных

Одна оценка модели может зависеть от того, какие данные попали в проверочную часть. Разбираем на примере, как сравнить результаты перекрёстной проверки и зачем оставить отдельный тестовый набор.

Одна оценка модели может зависеть от того, какие данные попали в обучающую часть, а какие — в проверочную. Сравнение нескольких разбиений помогает увидеть, меняется ли результат, и не принимать одно число за полное описание качества.

Для такого сравнения используют перекрёстную проверку: части обучающих данных по очереди становятся проверочными. Оценки можно усреднить и рассмотреть по отдельности. Но после выбора настроек модели для итоговой оценки нужен отдельный тестовый набор.

Почему одной проверки недостаточно

Для оценки модели данные разделяют: одну часть используют для обучения, другую — для проверки. При случайном разбиении результат может зависеть от того, какие данные оказались в каждой части. При другом разбиении оценка может измениться.

Несколько проверок позволяют сравнить результаты на выбранных разбиениях. Средняя оценка даёт сводное представление, а отдельные значения показывают, насколько результаты различались между собой. При этом разброс между блоками не описывает всю неопределённость качества модели.

О зависимости результата от разбиения и использовании перекрёстной проверки рассказывает документация scikit-learn.

Как работает перекрёстная проверка по блокам

При k-блочной перекрёстной проверке обучающую выборку делят на части, или блоки. Буква k обозначает число блоков.

В каждом проходе модель обучают на k−1 блоках, а на оставшемся оценивают. Процедуру повторяют так, чтобы каждый блок по очереди стал проверочным.

Проверочный блок внутри процедуры — не то же самое, что отдельный тестовый набор. Тестовый набор откладывают до перекрёстной проверки и сохраняют для итоговой оценки. Описание метода есть в документации scikit-learn.

Как прочитать результаты на условном примере

Предположим, что обучающую выборку разделили на блоки A, B и C. Оценки ниже вымышлены: они иллюстрируют расчёт, а не подтверждают качество конкретной модели. Отдельный тестовый набор в эти блоки не входит.

Проход Блоки для обучения Блок для проверки Оценка
Первый B и C A 0,7
Второй A и C B 0,8
Третий A и B C 0,9

Средняя оценка равна (0,7 + 0,8 + 0,9) / 3 = 0,8. Отдельные результаты находятся в диапазоне от 0,7 до 0,9.

Среднее удобно как сводный результат, но само по себе оно не показывает различий между проходами. Поэтому рядом с ним полезно сохранить оценки по каждому блоку. Эти значения относятся к выбранным блокам и не описывают всю возможную неопределённость качества.

Зачем оставлять отдельный тестовый набор

Перекрёстная проверка не заменяет отложенный тест. Последовательность выглядит так:

  1. Заранее отложить часть данных для итогового теста.
  2. На оставшихся данных провести перекрёстную проверку и выбрать настройки модели.
  3. После выбора настроек использовать отложенный набор для итоговой оценки.

Если многократно менять настройки, ориентируясь на результат теста, сведения о тестовом наборе могут повлиять на модель. Тогда итоговая оценка станет менее надёжным показателем способности модели обобщать результаты на данные, не использованные при настройке. Поэтому тестовый набор не используют для выбора настроек в ходе перекрёстной проверки. Это ограничение описано в документации scikit-learn.

Когда обычные блоки и их разброс могут ввести в заблуждение

Схему разбиения выбирают с учётом устройства данных. Если наблюдения зависят от времени, нужна подходящая схема проверки для временных данных. Если у данных есть групповая структура — например, наблюдения собраны от разных людей или с разных устройств, — используют схему, учитывающую группы.

Важно учитывать и способ формирования блоков. Стратификация — это разбиение с учётом представленности классов. Она может искусственно уменьшать наблюдаемый разброс оценок между проходами, поэтому небольшой разброс не всегда отражает всю неопределённость. Подробнее об этих ограничениях — в документации scikit-learn.

Чтобы применить подход к своей задаче, сначала определите структуру данных: есть ли в них зависимость от времени или группы. Затем заранее отложите тестовый набор, выберите подходящую схему проверки для оставшихся данных и сравните среднюю оценку с результатами отдельных проходов.

Прозрачная линейка с делениями разной ширины расположена по диагонали на светлом фоне; тёмные контуры и зелёно-бирюзовый акцент.
22 ноябрь 20265 мин

Как ширина интервалов меняет вид гистограммы

Ширина интервалов меняет группировку значений и вид гистограммы, но не сами данные. Разбираемся, как сравнить два разбиения одной выборки и проверить визуальный вывод по исходным значениям.

Читать далее
На светлом фоне по центру расположена зелёно-бирюзовая бумажная лента с вырезом; её концы соединены внахлёст.
21 ноябрь 20263 мин

Как один ген может давать разные варианты матричной РНК

Разбираем альтернативный сплайсинг на условной схеме экзонов и объясняем, почему различия между вариантами мРНК не доказывают наличие отдельного белка для каждого из них.

Читать далее
На светлом фоне в центре изображены чашечные весы с тёмным основанием и зелёно-бирюзовыми деталями. Обе чаши находятся на одном уровне.
21 ноябрь 20263 мин

Что означает вероятность в прогнозе модели и как проверить её калибровку

Вероятность в прогнозе модели можно сравнить с долей событий среди похожих прогнозов. Разбираемся, как провести такую проверку на отложенных данных и почему одного исхода недостаточно.

Читать далее
На светлом фоне — крупная стилизованная модель двойной спирали ДНК с тёмными контурами и зелёно-бирюзовыми деталями.
15 ноябрь 20263 мин

Что такое аллели и почему у одного участка ДНК могут быть разные версии

Аллель — одна из возможных версий последовательности ДНК в определённом месте генома. На условном примере разбираем, как сравнить две копии участка и что означают гомозиготность и гетерозиготность.

Читать далее

Остались вопросы?

Оставьте заявку и мы свяжемся с Вами в ближайшее время