Pandas с нуля. Часть 6: преобразования — apply, .str, .dt…

Это часть 6 из 10 курса «Pandas с нуля для аналитика».

Данные почти никогда не приходят в том виде, в котором их можно сразу анализировать. Дата лежит строкой, цена с символом валюты, имя клиента в смешанном регистре, а тебе нужна когорта по месяцу регистрации. Эта часть — про то, как из сырых колонок делать те, что нужны: добавлять новые признаки, чистить текст, вытаскивать год из даты и резать числа на группы. Это и есть 80% ежедневной работы аналитика — feature engineering.

Что разберёшь в этом уроке

• Создание новых колонок: присваивание и assign
• Векторизация vs apply vs цикл — и почему это важно
• map для замены значений
• Аксессор .str — работа с текстом
• Аксессор .dt — работа с датами
• astype, to_numeric и приведение типов
• where, mask и условная замена
• cut и qcut — биннинг (разбивка чисел на группы)

Частые вопросы

Чем apply отличается от векторизованных операций?

Векторизованные операции (df['a'] + df['b'], df['x'] * 2) работают на уровне C сразу над всем массивом и в десятки раз быстрее. apply вызывает Python-функцию построчно или поколоночно — гибко, но медленно, поэтому его берут только когда векторизация невозможна.

Как применить строковые методы к колонке в pandas?

Через аксессор .str: df['name'].str.lower(), df['name'].str.contains('ООО'), df['code'].str.split('-'). Эти методы векторизованы и автоматически пропускают NaN, в отличие от обычных строковых методов Python.

Как извлечь год или месяц из колонки с датами?

Сначала приведите колонку к datetime через pd.to_datetime, затем используйте аксессор .dt: df['date'].dt.year, df['date'].dt.month, df['date'].dt.dayofweek. Для группировки по периодам удобен df['date'].dt.to_period('M').