Прозрачная линейка с делениями разной ширины расположена по диагонали на светлом фоне; тёмные контуры и зелёно-бирюзовый акцент.
22 ноябрь 20265 мин

Как ширина интервалов меняет вид гистограммы

Ширина интервалов меняет группировку значений и вид гистограммы, но не сами данные. Разбираемся, как сравнить два разбиения одной выборки и проверить визуальный вывод по исходным значениям.

Ширина интервалов меняет группировку значений и вид гистограммы, но не сами данные. Особенность выборки может быть заметна при одном разбиении и скрыта при другом. Чтобы проверить визуальный вывод, сравните две гистограммы одной выборки с разной шириной интервалов, но одинаковым диапазоном и способом подсчёта. Затем сверьте интересующий участок с исходными значениями.

Что показывает гистограмма

Гистограмма представляет числовые значения, сгруппированные по интервалам. Интервал — это участок диапазона значений, а его ширина — разница между границами. В нашем сравнении высота столбца показывает число наблюдений в соответствующем интервале. Такое число называют частотой.

По высоте столбца широкого интервала нельзя сразу понять, как значения расположены внутри него. Более узкое разбиение позволяет рассмотреть участки диапазона подробнее, хотя его границы не обязательно совпадают с границами широкого разбиения.

Способ подсчёта важно обозначить заранее. В функции numpy.histogram число наблюдений в каждом интервале получают при density=False и без задания весов. Если включить нормировку или задать веса, смысл полученных значений изменится. Правила параметров описаны в документации NumPy.

Сравнение двух разбиений одной выборки

Возьмём условную выборку: 1, 1, 2, 3, 6, 6, 7, 8. Для обоих вариантов оставим общий диапазон от 0 до 8 и будем считать наблюдения без весов и нормировки.

При подсчёте используем правило numpy.histogram: каждый интервал включает левую границу и не включает правую. Исключение — последний интервал: он включает обе границы. Поэтому значение 8 в обоих вариантах относится к последнему интервалу. Правило приведено в описании numpy.histogram.

Первый вариант — широкие интервалы с границами 0, 4, 8:

  • От 0 включительно до 4 не включительно: 4 наблюдения — 1, 1, 2, 3.
  • От 4 до 8 включительно: 4 наблюдения — 6, 6, 7, 8.

Второй вариант — узкие интервалы с границами 0, 2, 4, 6, 8:

  • От 0 включительно до 2 не включительно: 2 наблюдения — 1, 1.
  • От 2 включительно до 4 не включительно: 2 наблюдения — 2, 3.
  • От 4 включительно до 6 не включительно: 0 наблюдений.
  • От 6 до 8 включительно: 4 наблюдения — 6, 6, 7, 8.

На первой гистограмме два столбца будут одинаковой высоты: по ним не видно, что участок от 4 включительно до 6 не включительно пуст. На второй этот участок выделен отдельным интервалом с нулевой частотой. Значения 6 в него не попадают: они относятся к следующему интервалу. Это сравнение относится к выбранной условной выборке и указанным границам.

Чтобы изобразить оба варианта вручную, начертите две горизонтальные оси с диапазоном от 0 до 8. На первой отметьте границы 0, 4 и 8, на второй — 0, 2, 4, 6 и 8. По вертикали на обоих рисунках отложите число наблюдений в одинаковом масштабе. Затем нарисуйте над каждым интервалом столбец соответствующей ширины и высоты из списков выше. Для интервала с нулевой частотой столбец не поднимется над осью.

Как проверить, зависит ли вывод от разбиения

Меняйте разбиение, сохраняя остальные условия:

  1. Возьмите одну и ту же числовую выборку для обоих вариантов. Не удаляйте и не добавляйте наблюдения между построениями.
  2. Зафиксируйте общий диапазон и способ подсчёта: число наблюдений без весов и нормировки. Проверьте, не остались ли значения за пределами диапазона: numpy.histogram исключает их из подсчёта.
  3. Задайте разное число интервалов одинаковой ширины. В numpy.histogram для этого можно передать целое число в параметр bins. Если нужно контролировать границы, передайте последовательность возрастающих границ.
  4. Сравните форму гистограмм. Отметьте участки, которые выглядят похоже, и те, впечатление от которых меняется.
  5. Проверьте исходные значения и границы на этих участках. Если наблюдение находится на границе, учитывайте правило включения для используемой функции.

В pandas размер интервалов гистограммы также можно менять параметром bins; это указано в руководстве по визуализации pandas. При использовании другого инструмента проверьте его правила границ и настройки подсчёта, а не предполагайте, что они совпадают с правилами NumPy.

Ограничения визуального вывода

Границы интервалов — часть настройки гистограммы. Один график может подсказать, где стоит проверить данные, но не заменяет такую проверку. Если впечатление меняется при другом разбиении, формулируйте вывод с учётом выбранных границ.

Существуют автоматические методы выбора числа интервалов. Документация NumPy рассматривает их как отправную точку: полученный вариант стоит сравнить с другими на своих данных. Автоматический выбор не избавляет от необходимости проверить, какие особенности видны при разных разбиениях.

Отдельно следите за смыслом высоты столбца. При density=True функция numpy.histogram возвращает нормированную плотность, а не число наблюдений. Плотность описывает распределение значений по диапазону; её высоты нельзя сопоставлять с частотами как одинаковые величины. Сумма высот при этом не обязательно равна единице. Подробнее об этом сказано в документации функции.

Попробуйте повторить сравнение на собственной числовой выборке: сохраните диапазон и способ подсчёта, измените ширину интервалов и найдите участок, который выглядит по-разному. Затем проверьте значения на этом участке и его границах. Так вы отделите наблюдение о данных от впечатления, зависящего от настройки графика.

На светлом фоне по центру расположена зелёно-бирюзовая бумажная лента с вырезом; её концы соединены внахлёст.
21 ноябрь 20263 мин

Как один ген может давать разные варианты матричной РНК

Разбираем альтернативный сплайсинг на условной схеме экзонов и объясняем, почему различия между вариантами мРНК не доказывают наличие отдельного белка для каждого из них.

Читать далее
На светлом фоне в центре изображены чашечные весы с тёмным основанием и зелёно-бирюзовыми деталями. Обе чаши находятся на одном уровне.
21 ноябрь 20263 мин

Что означает вероятность в прогнозе модели и как проверить её калибровку

Вероятность в прогнозе модели можно сравнить с долей событий среди похожих прогнозов. Разбираемся, как провести такую проверку на отложенных данных и почему одного исхода недостаточно.

Читать далее
На светлом фоне — крупная стилизованная модель двойной спирали ДНК с тёмными контурами и зелёно-бирюзовыми деталями.
15 ноябрь 20263 мин

Что такое аллели и почему у одного участка ДНК могут быть разные версии

Аллель — одна из возможных версий последовательности ДНК в определённом месте генома. На условном примере разбираем, как сравнить две копии участка и что означают гомозиготность и гетерозиготность.

Читать далее
На светлом фоне крупный тёмный перекидной календарь с приподнятыми листами; край одного листа зелёно-бирюзовый.
14 ноябрь 20264 мин

Почему прогноз на будущее проверяют иначе, чем модель на случайных строках

Если модель предсказывает будущие измерения по прошлым, проверять её стоит на более позднем периоде. Разбираем на условном примере, чем такая проверка отличается от случайного разбиения и что учесть при использовании TimeSeriesSplit.

Читать далее

Остались вопросы?

Оставьте заявку и мы свяжемся с Вами в ближайшее время