Две параллельные дорожки проходят через общий блок преобразования к входу модели.
12 ноябрь 20264 мин

Почему подготовка признаков при обучении и применении модели должна совпадать

На условном числовом примере проследим путь признака до входа модели, сравним согласованную подготовку с пропуском преобразования и разберём отличие этой ошибки от утечки данных.

Преобразования, использованные при обучении модели, нужно применять и к тестовым, и к новым данным. Если пропустить преобразование или использовать другие параметры, модель может получить значение в другой шкале. Это может ухудшить её работу, хотя последствия зависят от модели и характера ошибки.

Например, если при обучении числовой признак стандартизировали — вычли среднее и разделили результат на стандартное отклонение, — последующие данные нужно преобразовать с теми же параметрами, вычисленными на обучающей выборке. Ниже разберём путь одного значения до входа модели на условных числах.

Что значит одинаковая подготовка признака

Признак — это входная величина, которую получает модель. Числовой признак до передачи модели можно преобразовать, например стандартизировать: вычесть среднее и разделить разность на стандартное отклонение.

На обоих этапах путь признака должен быть согласованным:

  • При обучении: исходное значение → преобразование → модель.
  • При тестировании или применении: исходное значение → то же преобразование → модель.

Для стандартизации с помощью StandardScaler при стандартных настройках нужно сохранить и способ преобразования, и его параметры: среднее и стандартное отклонение, рассчитанные на обучающей выборке. Затем эти параметры используют для новых значений. Подробнее — в документации StandardScaler.

Без согласованной подготовки меняется пространство признаков — представление входных данных, с которым работает модель. Её работа может ухудшиться, но эффект зависит от модели и ошибки. В рекомендациях scikit-learn необходимость одинаковых преобразований отмечена и для тестовых данных, и для данных при применении модели.

Как проходит стандартизация на обучении и тесте

В документации scikit-learn 1.9.1 при стандартных настройках StandardScaler использует формулу:

z = (x − u) / s

Здесь x — исходное значение признака, u — среднее обучающей выборки, s — её стандартное отклонение, а z — преобразованное значение на входе модели.

Рассмотрим условный пример с одним признаком. В обучающей выборке его значения — 8 и 12. Среднее равно 10, стандартное отклонение — 2. Преобразуем обучающие значения и тестовое значение 14:

Этап Исходное значение x Расчёт Вход модели z
Обучение 8 (8 − 10) / 2 −1
Обучение 12 (12 − 10) / 2 1
Тестирование 14 (14 − 10) / 2 2

Для тестового значения 14 мы используем среднее 10 и стандартное отклонение 2, полученные на обучающей выборке. На вход модели поступает 2. Те же параметры используют и при последующем применении модели к новым данным.

Пример относится к стандартным настройкам StandardScaler. Если дисперсия признака равна нулю, StandardScaler использует коэффициент масштабирования 1; подробности приведены в описании преобразователя.

Что меняется при несовпадении подготовки

Продолжим тот же пример. Если пропустить стандартизацию тестового значения, модель получит 14 вместо 2. Первое значение выражено в исходной шкале, второе — преобразовано с параметрами обучения.

По этим входным значениям нельзя определить конкретный прогноз или сказать, насколько изменится результат: модель не задана. Подготовка не совпала, и её работа может ухудшиться.

Другая ошибка — пересчитать параметры стандартизации по тестовой выборке. Полученные параметры могут отличаться от параметров обучения. Кроме того, информация из теста попадёт в расчёт подготовки. Это утечка данных: при определении параметров используются сведения из выборки, предназначенной для тестирования.

Ошибки связаны, но не одинаковы. Пропуск преобразования сам по себе не означает утечку. Использование тестовых данных для расчёта параметров, напротив, позволяет информации из теста влиять на подготовку. Поэтому документация scikit-learn рекомендует определять параметры преобразований только по обучающей выборке.

Как организовать подготовку и проверить её

Для стандартизации признака можно использовать такую последовательность:

  1. Определить среднее и стандартное отклонение только по обучающей выборке.
  2. Преобразовать обучающие значения и передать их модели.
  3. Сохранить параметры преобразования.
  4. Использовать их же для тестовых и новых данных перед передачей модели.

В scikit-learn преобразования и модель можно объединить в Pipeline — последовательность шагов подготовки и модели. Она уменьшает вероятность забыть преобразование при прогнозировании, но сама по себе не устраняет все ошибки подготовки данных. Это ограничение важно учитывать и при использовании рекомендованного подхода scikit-learn.

Чтобы проверить собственный процесс, выберите один числовой признак и запишите его исходное значение, сохранённые параметры преобразования и итоговое значение на входе модели. Затем проследите тот же путь для тестового значения: используются ли параметры, рассчитанные именно на обучающей выборке?

Прозрачная линейка с делениями разной ширины расположена по диагонали на светлом фоне; тёмные контуры и зелёно-бирюзовый акцент.
22 ноябрь 20265 мин

Как ширина интервалов меняет вид гистограммы

Ширина интервалов меняет группировку значений и вид гистограммы, но не сами данные. Разбираемся, как сравнить два разбиения одной выборки и проверить визуальный вывод по исходным значениям.

Читать далее
На светлом фоне по центру расположена зелёно-бирюзовая бумажная лента с вырезом; её концы соединены внахлёст.
21 ноябрь 20263 мин

Как один ген может давать разные варианты матричной РНК

Разбираем альтернативный сплайсинг на условной схеме экзонов и объясняем, почему различия между вариантами мРНК не доказывают наличие отдельного белка для каждого из них.

Читать далее
На светлом фоне в центре изображены чашечные весы с тёмным основанием и зелёно-бирюзовыми деталями. Обе чаши находятся на одном уровне.
21 ноябрь 20263 мин

Что означает вероятность в прогнозе модели и как проверить её калибровку

Вероятность в прогнозе модели можно сравнить с долей событий среди похожих прогнозов. Разбираемся, как провести такую проверку на отложенных данных и почему одного исхода недостаточно.

Читать далее
На светлом фоне — крупная стилизованная модель двойной спирали ДНК с тёмными контурами и зелёно-бирюзовыми деталями.
15 ноябрь 20263 мин

Что такое аллели и почему у одного участка ДНК могут быть разные версии

Аллель — одна из возможных версий последовательности ДНК в определённом месте генома. На условном примере разбираем, как сравнить две копии участка и что означают гомозиготность и гетерозиготность.

Читать далее

Остались вопросы?

Оставьте заявку и мы свяжемся с Вами в ближайшее время