Нормализация данных: что это и зачем нужна

В рекламной выгрузке название кампании может повторяться сотни раз, а соседние показатели отличаются по масштабу: расход — десятки тысяч рублей, CTR — единицы процентов. Обе проблемы решает нормализация, но разными способами. Разберём их на понятном примере.

Что такое нормализация данных

Нормализация данных — это приведение данных к удобному и предсказуемому виду по заданным правилам. Значение термина зависит от задачи.

Допустим, компания собирает статистику рекламных кампаний. Базе нужно правильно хранить названия кампаний, источники трафика, менеджеров и показатели. Модели нужны числа, на которых она сможет искать закономерности: расход, CTR, CPC, число лидов. Исходные данные одни, а нормализация решает две разные задачи.

Нормализация не заменяет очистку данных. Она не исправит опечатку в названии кампании, не заполнит пропуск и не удалит готовые дубли. Сначала данные проверяют и очищают, затем приводят к нужной структуре или масштабу.

Как нормализация работает в базе данных

Представим таблицу с ежедневной статистикой:

Пока строк мало, таблица выглядит нормально. Через год имя кампании и контакты менеджера будут повторяться в сотнях записей. Если Анна поменяет почту, адрес придётся обновлять в каждой строке. Достаточно пропустить одну запись — и в базе появятся две версии одного факта.

После нормализации данные можно разделить так:

• в таблице daily_stats хранить дату, расход, лиды и идентификаторы кампании и источника;
• в campaigns — названия кампаний и ответственных менеджеров;
• в sources — источники трафика;
• в managers — имена и контакты менеджеров.

Таблицы связываются идентификаторами: например, campaign_id или manager_id. Почта Анны теперь хранится в одном месте. В ежедневной статистике остаются только показатели и ссылки на нужные записи.

В результате базу проще обновлять и проверять. Новую почту менеджера меняют один раз, источник можно добавить ещё до появления статистики, а название кампании не приходится копировать в каждую строку.

Что такое 1НФ, 2НФ и 3НФ

Нормальные формы — это требования к устройству таблиц. Для большинства вводных задач достаточно понимать первые три.

Составной ключ — это сочетание нескольких полей, которое определяет строку. Для ежедневной статистики таким сочетанием могут быть дата, кампания и источник. Расход относится ко всему сочетанию, а название кампании зависит только от самой кампании. Поэтому название удобнее хранить отдельно.

Третья нормальная форма помогает убрать ещё один тип повторов. Если в каждой кампании записаны имя и почта ответственного, контакты менеджера дублируются. В таблице кампаний оставляют manager_id, а сами контакты хранят в таблице менеджеров.

Есть и более строгие формы — BCNF, 4НФ и 5НФ. В типовых задачах новичка они нужны реже. Сначала полезнее научиться замечать очевидные повторы и понимать, к какому объекту относится каждый столбец.

Как нормализовать таблицу

Возьмите одну большую таблицу и разберите её по шагам:

1. Определите отдельные объекты: кампании, источники, менеджеры, статистика.
2. Для каждого объекта создайте свою таблицу.
3. Добавьте первичные ключи: campaign_id, source_id, manager_id.
4. В таблице статистики замените повторяющиеся названия идентификаторами.
5. Свяжите таблицы внешними ключами.
6. Проверьте, где придётся менять данные, если кампания получит новое название или менеджер сменит почту.

Хороший контрольный вопрос: «Сколько строк нужно изменить, чтобы обновить один факт?» Если правильный ответ — одна, структура, скорее всего, выбрана удачно. Если править нужно десятки строк, в таблице остался повтор.

Само количество таблиц ничего не гарантирует. Базу можно разбить на десять частей и всё равно сохранить неудобные зависимости. Смотрите на смысл данных: один объект должен иметь одно понятное место хранения.

Когда таблицу оставляют широкой

Для отчёта или анализа часто удобнее собрать плоскую таблицу, где рядом находятся кампания, источник, расход, клики и лиды. Это называется денормализацией. Дашборду проще читать готовую витрину, чем каждый раз соединять несколько таблиц.

Такой подход подходит для аналитических выгрузок и CSV-файлов. Важно знать, откуда берутся данные и как обновляется витрина. Основную информацию лучше хранить в надёжной связанной структуре, а широкую таблицу собирать из неё автоматически.

Что означает нормализация в Data Science

В машинном обучении тем же словом часто называют масштабирование числовых признаков. Допустим, в датасете есть расход 90 000 рублей, CTR 1,9% и CPC 37 рублей. Для человека значения понятны, а алгоритм видит числа с очень разным диапазоном.

Это особенно важно для методов, которые считают расстояние между объектами, например kNN, а также для SVM, PCA и многих линейных моделей. Большой диапазон одного признака может заметно влиять на расчёты. После масштабирования расход, CTR и CPC становятся сопоставимее.

Деревья решений и модели на их основе обычно не требуют такого преобразования. Поэтому scaler не добавляют автоматически во все проекты. Сначала смотрят на данные и выбранный алгоритм.

Нормализация и стандартизация: в чём разница

В повседневной речи нормализацией могут называть почти любое масштабирование. В библиотеках Python у методов разные названия и правила.

При Min–Max-нормализации используют формулу (x − min) / (max − min). Минимальное значение становится 0, максимальное — 1, остальные располагаются между ними. При стандартизации из значения вычитают среднее и делят результат на стандартное отклонение. После неё числа могут быть меньше 0 или больше 1.

У MinMaxScaler есть слабое место: один сильный выброс растягивает диапазон и сжимает остальные значения. Поэтому способ выбирают после просмотра данных, а результат проверяют на качестве модели.

Как масштабировать признаки в Python

Покажем базовый пример на статистике кампаний. В файле campaigns.csv есть расход, CTR, CPC и число конверсий. Модель должна предсказывать конверсии по трём числовым признакам. Если пока сложно различать массивы и таблицы Python, сначала посмотрите, чем NumPy отличается от Pandas.

import pandas as pd

from sklearn.model_selection import train_test_split

from sklearn.preprocessing import StandardScaler

df = pd.read_csv("campaigns.csv")

features = df[["spend", "ctr", "cpc"]]

target = df["conversions"]

X_train, X_test, y_train, y_test = train_test_split(

    features,

    target,

    test_size=0.2,

    random_state=42,

)

scaler = StandardScaler()

X_train_scaled = scaler.fit_transform(X_train)

X_test_scaled = scaler.transform(X_test)

Сначала данные делят на обучающую и тестовую части. fit_transform() рассчитывает среднее и разброс по X_train, а затем преобразует обучающие значения. Для X_test вызывают только transform(), чтобы применить уже найденные параметры.

Если обучить scaler сразу на всём датасете, информация из тестовой части попадёт в подготовку модели. Проверка получится слишком оптимистичной. Такой случай называют утечкой данных.

В рабочем проекте scaler и модель часто объединяют через Pipeline. Тогда одинаковая последовательность действий используется при обучении и при прогнозе на новых данных. Это снижает риск забыть преобразование или случайно рассчитать его заново.

Работа специалиста Data Science начинается ещё до обучения модели. Нужно понять, какие столбцы полезны, отделить часть данных для честной проверки, выбрать способ преобразования и оценить результат. От этих решений зависит, можно ли доверять прогнозу.

Частые ошибки при нормализации признаков

Если модель работает с текстами или изображениями, она может представлять объекты в виде числовых векторов. Для них часто применяют L2-нормализацию, чтобы сравнивать направление векторов без влияния их длины. Подробнее об этом читайте в статье об эмбеддингах.

Какой способ нормализации выбрать

Сначала уточните задачу:

• Проектируете базу. Разделите данные по объектам, добавьте ключи и проверьте 1НФ, 2НФ и 3НФ.
• Готовите отчёт. Широкая таблица допустима, если она автоматически собирается из надёжного источника.
• Обучаете модель. Посмотрите на диапазоны признаков и требования алгоритма.
• Есть заметные выбросы. Сравните StandardScaler и RobustScaler.
• Работаете с векторами. Проверьте, нужна ли нормализация каждой строки через Normalizer.

После любого преобразования проверьте результат. В базе попробуйте изменить один факт и убедитесь, что он хранится в одном месте. В Data Science сравните качество модели на тестовой выборке и сохраните тот же scaler для новых данных.

FAQ