Если модель должна предсказывать будущие измерения по прошлым, проверять её стоит на периоде, который наступает после обучающего. Так порядок данных при проверке будет соответствовать задаче прогноза.
При случайном разбиении более поздние наблюдения могут попасть в обучение, а более ранние — в проверку. Это не воспроизводит ситуацию, в которой модель получает прошлые данные и предсказывает будущее. Чтобы проверить своё разбиение, расположите наблюдения по времени и посмотрите, нет ли в обучении строк позднее проверочного периода.
Что меняется, когда модель предсказывает будущее
Временной ряд — это последовательность наблюдений, упорядоченных по времени. Для него характерна автокорреляция: связь между наблюдениями, близкими по времени. Например, соседние измерения могут быть похожи друг на друга. Подробнее об этом рассказывает документация scikit-learn по проверке моделей.
Если задача модели — прогнозировать будущие измерения по уже доступным, при проверке важно сохранить этот порядок: обучающие данные не должны относиться к более позднему времени, чем проверочные. Такое правило сформулировано в примере scikit-learn о прогнозировании временных рядов.
Случайное и хронологическое разбиение: сравнение
Возьмём условные последовательные измерения за шесть месяцев. Их значения и ошибки модели для сравнения способов разбиения не понадобятся.
При случайном разбиении строки распределяются между обучением и проверкой без сохранения границы между прошлым и будущим. Например, измерения шестого месяца могут оказаться в обучающей части, а третьего — в проверочной. Тогда модель проверяют на периоде, который предшествует части обучающих данных.
При хронологическом разбиении сначала располагают наблюдения по времени. Затем более ранний отрезок выделяют для обучения, а следующий — для проверки. В условном примере можно обучить модель на первых четырёх месяцах и проверить на пятом.
При перемешивании обучающие и проверочные наблюдения могут оказаться близкими по времени и похожими. Из-за этого оценка качества иногда бывает слишком оптимистичной. Но нельзя утверждать, что каждое случайное разбиение обязательно завысит оценку: это зависит от данных и задачи. Документация scikit-learn предупреждает о такой возможности.
В примере прогнозирования scikit-learn оценка ошибки на перемешанном разбиении оказалась слишком оптимистичной по сравнению с проверкой по времени. Это результат конкретного примера, а не вывод для любого набора данных.
Как повторить проверку на нескольких периодах
Одну проверку можно дополнить следующей. Для тех же условных измерений последовательность будет такой:
- Обучение на первых четырёх месяцах — проверка на пятом.
- Обучение на первых пяти месяцах — проверка на шестом.
Во второй проверке обучающий отрезок расширяется, но по-прежнему предшествует проверочному. Результаты по периодам можно сопоставить; заранее приписывать им значения или делать вывод о различии качества нельзя.
Для последовательных разбиений в scikit-learn есть TimeSeriesSplit. По умолчанию последующие обучающие части расширяются, а их размер можно ограничить параметром max_train_size. Перед использованием инструмента расположите строки в нужном временном порядке.
Что проверить перед выбором разбиения
Сначала определите, как модель будет применяться. Если она должна предсказывать будущее по прошлому, порядок обучения и проверки должен отражать эту задачу. Название инструмента само по себе не заменяет проверку порядка данных.
Для TimeSeriesSplit документация указывает условие сопоставимости метрик между разбиениями: наблюдения должны быть расположены через равные интервалы времени. Это важно для сопоставимой продолжительности проверочных периодов. Если интервалы в ваших данных неравные, учтите это ограничение, прежде чем сравнивать метрики.
У TimeSeriesSplit есть параметр gap: он задаёт число наблюдений, исключаемых между концом обучающей и началом проверочной части. По умолчанию это число равно нулю. gap задаётся в строках и не выбирает длительность промежутка автоматически.
Практический шаг: расположите свои наблюдения по времени и отметьте более поздний период для проверки. Затем проверьте, не оказались ли в обучающей части строки, относящиеся ко времени после проверочного периода. Если планируете несколько проверок, посмотрите на интервалы между наблюдениями и границы каждого периода.




