На светлом фоне крупный тёмный перекидной календарь с приподнятыми листами; край одного листа зелёно-бирюзовый.
14 ноябрь 20264 мин

Почему прогноз на будущее проверяют иначе, чем модель на случайных строках

Если модель предсказывает будущие измерения по прошлым, проверять её стоит на более позднем периоде. Разбираем на условном примере, чем такая проверка отличается от случайного разбиения и что учесть при использовании TimeSeriesSplit.

Если модель должна предсказывать будущие измерения по прошлым, проверять её стоит на периоде, который наступает после обучающего. Так порядок данных при проверке будет соответствовать задаче прогноза.

При случайном разбиении более поздние наблюдения могут попасть в обучение, а более ранние — в проверку. Это не воспроизводит ситуацию, в которой модель получает прошлые данные и предсказывает будущее. Чтобы проверить своё разбиение, расположите наблюдения по времени и посмотрите, нет ли в обучении строк позднее проверочного периода.

Что меняется, когда модель предсказывает будущее

Временной ряд — это последовательность наблюдений, упорядоченных по времени. Для него характерна автокорреляция: связь между наблюдениями, близкими по времени. Например, соседние измерения могут быть похожи друг на друга. Подробнее об этом рассказывает документация scikit-learn по проверке моделей.

Если задача модели — прогнозировать будущие измерения по уже доступным, при проверке важно сохранить этот порядок: обучающие данные не должны относиться к более позднему времени, чем проверочные. Такое правило сформулировано в примере scikit-learn о прогнозировании временных рядов.

Случайное и хронологическое разбиение: сравнение

Возьмём условные последовательные измерения за шесть месяцев. Их значения и ошибки модели для сравнения способов разбиения не понадобятся.

При случайном разбиении строки распределяются между обучением и проверкой без сохранения границы между прошлым и будущим. Например, измерения шестого месяца могут оказаться в обучающей части, а третьего — в проверочной. Тогда модель проверяют на периоде, который предшествует части обучающих данных.

При хронологическом разбиении сначала располагают наблюдения по времени. Затем более ранний отрезок выделяют для обучения, а следующий — для проверки. В условном примере можно обучить модель на первых четырёх месяцах и проверить на пятом.

При перемешивании обучающие и проверочные наблюдения могут оказаться близкими по времени и похожими. Из-за этого оценка качества иногда бывает слишком оптимистичной. Но нельзя утверждать, что каждое случайное разбиение обязательно завысит оценку: это зависит от данных и задачи. Документация scikit-learn предупреждает о такой возможности.

В примере прогнозирования scikit-learn оценка ошибки на перемешанном разбиении оказалась слишком оптимистичной по сравнению с проверкой по времени. Это результат конкретного примера, а не вывод для любого набора данных.

Как повторить проверку на нескольких периодах

Одну проверку можно дополнить следующей. Для тех же условных измерений последовательность будет такой:

  • Обучение на первых четырёх месяцах — проверка на пятом.
  • Обучение на первых пяти месяцах — проверка на шестом.

Во второй проверке обучающий отрезок расширяется, но по-прежнему предшествует проверочному. Результаты по периодам можно сопоставить; заранее приписывать им значения или делать вывод о различии качества нельзя.

Для последовательных разбиений в scikit-learn есть TimeSeriesSplit. По умолчанию последующие обучающие части расширяются, а их размер можно ограничить параметром max_train_size. Перед использованием инструмента расположите строки в нужном временном порядке.

Что проверить перед выбором разбиения

Сначала определите, как модель будет применяться. Если она должна предсказывать будущее по прошлому, порядок обучения и проверки должен отражать эту задачу. Название инструмента само по себе не заменяет проверку порядка данных.

Для TimeSeriesSplit документация указывает условие сопоставимости метрик между разбиениями: наблюдения должны быть расположены через равные интервалы времени. Это важно для сопоставимой продолжительности проверочных периодов. Если интервалы в ваших данных неравные, учтите это ограничение, прежде чем сравнивать метрики.

У TimeSeriesSplit есть параметр gap: он задаёт число наблюдений, исключаемых между концом обучающей и началом проверочной части. По умолчанию это число равно нулю. gap задаётся в строках и не выбирает длительность промежутка автоматически.

Практический шаг: расположите свои наблюдения по времени и отметьте более поздний период для проверки. Затем проверьте, не оказались ли в обучающей части строки, относящиеся ко времени после проверочного периода. Если планируете несколько проверок, посмотрите на интервалы между наблюдениями и границы каждого периода.

Прозрачная линейка с делениями разной ширины расположена по диагонали на светлом фоне; тёмные контуры и зелёно-бирюзовый акцент.
22 ноябрь 20265 мин

Как ширина интервалов меняет вид гистограммы

Ширина интервалов меняет группировку значений и вид гистограммы, но не сами данные. Разбираемся, как сравнить два разбиения одной выборки и проверить визуальный вывод по исходным значениям.

Читать далее
На светлом фоне по центру расположена зелёно-бирюзовая бумажная лента с вырезом; её концы соединены внахлёст.
21 ноябрь 20263 мин

Как один ген может давать разные варианты матричной РНК

Разбираем альтернативный сплайсинг на условной схеме экзонов и объясняем, почему различия между вариантами мРНК не доказывают наличие отдельного белка для каждого из них.

Читать далее
На светлом фоне в центре изображены чашечные весы с тёмным основанием и зелёно-бирюзовыми деталями. Обе чаши находятся на одном уровне.
21 ноябрь 20263 мин

Что означает вероятность в прогнозе модели и как проверить её калибровку

Вероятность в прогнозе модели можно сравнить с долей событий среди похожих прогнозов. Разбираемся, как провести такую проверку на отложенных данных и почему одного исхода недостаточно.

Читать далее
На светлом фоне — крупная стилизованная модель двойной спирали ДНК с тёмными контурами и зелёно-бирюзовыми деталями.
15 ноябрь 20263 мин

Что такое аллели и почему у одного участка ДНК могут быть разные версии

Аллель — одна из возможных версий последовательности ДНК в определённом месте генома. На условном примере разбираем, как сравнить две копии участка и что означают гомозиготность и гетерозиготность.

Читать далее

Остались вопросы?

Оставьте заявку и мы свяжемся с Вами в ближайшее время