Pandas с нуля. Часть 7: пропуски и дубликаты — fillna, dropna

Это часть 7 из 10 курса «Pandas с нуля для аналитика».

Реальные данные грязные. Всегда. Ты выгружаешь таблицу заказов, а там — пустые даты доставки, пропавшие промокоды, один и тот же пользователь, задвоенный из-за бага в трекинге. Если ты посчитаешь среднее или соберёшь воронку прямо по такому, цифры будут врать — а ты этого даже не заметишь. Поэтому до любого анализа идёт скучный, но решающий этап: разобраться с пропусками и дубликатами. Эта часть как раз про него.

Что разберёшь в этом уроке

• NaN, None, NaT — три лица пропуска
• fillna: заполнить пропуск чем-то осмысленным
• interpolate: умное заполнение по тренду
• dropna: когда пропуск проще выкинуть
• replace: пропуски, которые маскируются под значения
• duplicated и drop_duplicates: ловим задвоения
• Чек-лист: что делать с грязной выгрузкой

Частые вопросы

Чем отличается dropna от fillna?

dropna удаляет строки или колонки с пропусками (NaN), а fillna заполняет их значением — нулём, средним, медианой или соседним через method='ffill'/'bfill'. Выбор зависит от того, можно ли терять строки и допустимо ли подставлять значение.

Как найти и посчитать пропуски в DataFrame?

df.isna().sum() даёт число NaN по каждой колонке, df.isna().sum().sum() — всего по таблице, а df.isna().mean() — долю пропусков. Строки с пропусками выбираются через df[df['col'].isna()].

Как удалить дубликаты строк в pandas?

df.drop_duplicates() убирает полностью совпадающие строки, а subset задаёт колонки для сравнения: df.drop_duplicates(subset=['user_id'], keep='last'). Параметр keep ('first', 'last', False) определяет, какой из дублей оставить.