У вас CSV 8 GB, не помещается в RAM. df = pd.read_csv("big.csv") падает с MemoryError. Что делать?

Варианты ответа

• pd.read_csv с chunksize=100000 — обрабатываем по кускам в loop; либо переключаемся на Polars/DuckDB которые читают lazy и используют меньше памяти
• pd.read_csv с low_memory=False — это явно говорит pandas грузить все типы корректно за один проход и устраняет ошибку
• gc.collect() перед чтением — очищаем кэш Python и освобождаем место под DataFrame, после этого pd.read_csv пройдёт
• pd.read_csv с usecols=["col1"] — если ограничить число колонок одной, файл прочтётся в RAM поскольку это уменьшает размер в разы

Разбор ответа

Получить доступ к ответам — все вопросы →

Похожие вопросы из категории «Python»

• Чем отличаются списки и кортежи в Python?
• Как работает list comprehension и чем лучше цикла?
• Что такое генератор и чем он отличается от списка?
• Как работает менеджер контекста и зачем нужен?
• Объясните разницу между deepcopy и copy.