9 февраля 2026
Python для аналитики: с каких библиотек начать
Python — один из самых популярных языков для работы с данными. По оценке Index DEV, около 68% проектов в области data science используют именно его. А в рейтинге TIOBE, который отражает самые часто упоминаемые языки, на декабрь 2025 года Python занимает первое место с долей 23,64% — это больше, чем у C++, Java и JavaScript вместе взятых.
Статья пригодится тем, кто только начинает путь в аналитике и data science, а также IT-специалистам смежных областей, которые хотят научиться работать с данными. Рассказываем, какие библиотеки Python стоит освоить в первую очередь, как их установить, и показываем пример анализа на практике.
Статья пригодится тем, кто только начинает путь в аналитике и data science, а также IT-специалистам смежных областей, которые хотят научиться работать с данными. Рассказываем, какие библиотеки Python стоит освоить в первую очередь, как их установить, и показываем пример анализа на практике.
Дина Майсон
Автор, UX-редактор
Python — один из самых популярных языков для работы с данными. По оценке Index DEV, около 68% проектов в области data science используют именно его. А в рейтинге TIOBE, который отражает самые часто упоминаемые языки, на декабрь 2025 года Python занимает первое место с долей 23,64% — это больше, чем у C++, Java и JavaScript вместе взятых.
Статья пригодится тем, кто только начинает путь в аналитике и data science, а также IT-специалистам смежных областей, которые хотят научиться работать с данными. Рассказываем, какие библиотеки Python стоит освоить в первую очередь, как их установить, и показываем пример анализа на практике.
Статья пригодится тем, кто только начинает путь в аналитике и data science, а также IT-специалистам смежных областей, которые хотят научиться работать с данными. Рассказываем, какие библиотеки Python стоит освоить в первую очередь, как их установить, и показываем пример анализа на практике.
- За консультацию при подготовке материала благодарим Ивана Анисковца, эксперта Нетологии, специалиста по анализу данных и data science.
Python — один из самых популярных языков для работы с данными: его используют в 68% проектов по data science, а в рейтинге TIOBE он занимает первое место. Такая популярность объясняется простым синтаксисом и множеством готовых библиотек.
Для старта в аналитике достаточно шести библиотек. NumPy — основа для вычислений с массивами. Pandas — главный инструмент для работы с таблицами. Matplotlib и seaborn — библиотеки для визуализации: первая даёт полный контроль над графиками, вторая позволяет строить их быстрее и проще. SciPy — инструмент для статистических тестов. Scikit-learn — для построения моделей машинного обучения.
Типичные сложности на старте — работа с данными без предварительной проверки, копирование кода без понимания, игнорирование документации и попытки строить сложные модели до базового анализа. Красный текст в консоли — не провал, а подсказка: в сообщении обычно написано, что пошло не так. Полезно сохранять промежуточные результаты, чтобы не запускать весь код заново после каждой правки.
Дальнейший путь зависит от направления. Для углубления в аналитику нужны SQL, BI-инструменты и интерактивные библиотеки вроде Plotly. Для движения в сторону data science — продвинутое владение scikit-learn, нейросети на TensorFlow или PyTorch, работа с текстами и изображениями. Для всех направлений пригодятся инструменты обработки больших данных, автоматизация отчётов и soft skills: умение искать информацию, презентовать результаты и общаться с бизнес-заказчиками.
Для старта в аналитике достаточно шести библиотек. NumPy — основа для вычислений с массивами. Pandas — главный инструмент для работы с таблицами. Matplotlib и seaborn — библиотеки для визуализации: первая даёт полный контроль над графиками, вторая позволяет строить их быстрее и проще. SciPy — инструмент для статистических тестов. Scikit-learn — для построения моделей машинного обучения.
Типичные сложности на старте — работа с данными без предварительной проверки, копирование кода без понимания, игнорирование документации и попытки строить сложные модели до базового анализа. Красный текст в консоли — не провал, а подсказка: в сообщении обычно написано, что пошло не так. Полезно сохранять промежуточные результаты, чтобы не запускать весь код заново после каждой правки.
Дальнейший путь зависит от направления. Для углубления в аналитику нужны SQL, BI-инструменты и интерактивные библиотеки вроде Plotly. Для движения в сторону data science — продвинутое владение scikit-learn, нейросети на TensorFlow или PyTorch, работа с текстами и изображениями. Для всех направлений пригодятся инструменты обработки больших данных, автоматизация отчётов и soft skills: умение искать информацию, презентовать результаты и общаться с бизнес-заказчиками.
Подробно
Что такое анализ данных на Python простыми словами
Анализ данных — это процесс, в котором из набора чисел, текстов и других сведений извлекают полезную информацию для принятия решений. Например, интернет-магазин собирает данные о покупках: какие товары берут чаще, в какое время года растут продажи, какие клиенты возвращаются снова. Аналитик изучает эти закономерности и помогает бизнесу понять, стоит ли запустить акцию, расширить ассортимент или изменить ценовую политику.
Python стал основой для работы с данными благодаря понятному синтаксису, большому сообществу и множеству библиотек — наборов готовых функций, которые подключаются к коду. Вместо того чтобы писать сложные вычисления с нуля, можно использовать существующие инструменты и работать в единой среде.
Python стал основой для работы с данными благодаря понятному синтаксису, большому сообществу и множеству библиотек — наборов готовых функций, которые подключаются к коду. Вместо того чтобы писать сложные вычисления с нуля, можно использовать существующие инструменты и работать в единой среде.
6 обязательных библиотек для аналитики данных
Рассказываем про ключевые инструменты, с которыми стоит познакомиться в первую очередь. Каждая из библиотек решает свой круг задач, а вместе они охватывают весь цикл работы с данными — от загрузки до прогнозирования.
NumPy — основа для вычислений
Библиотека создана для работы с числовыми данными. Название расшифровывается как Numerical Python, то есть «числовой Python». Практически все остальные инструменты для анализа данных построены поверх NumPy и используют её возможности.
Главный инструмент библиотеки — массивы. Простой одномерный массив — это строка значений, например температура воздуха за каждый день недели. Двумерный массив — полноценная таблица со строками и столбцами, как в Excel. NumPy умеет работать и с более сложными структурами, где данные организованы в несколько слоёв, — их называют многомерными массивами.
NumPy выполняет математические операции над большими объёмами данных в десятки раз быстрее, чем стандартный Python. Когда нужно посчитать среднее по миллиону строк или перемножить две большие таблицы, разница в скорости становится существенной. Библиотека также предоставляет готовые функции для типовых вычислений, например: суммы, средние значения, минимумы и максимумы.
Главный инструмент библиотеки — массивы. Простой одномерный массив — это строка значений, например температура воздуха за каждый день недели. Двумерный массив — полноценная таблица со строками и столбцами, как в Excel. NumPy умеет работать и с более сложными структурами, где данные организованы в несколько слоёв, — их называют многомерными массивами.
NumPy выполняет математические операции над большими объёмами данных в десятки раз быстрее, чем стандартный Python. Когда нужно посчитать среднее по миллиону строк или перемножить две большие таблицы, разница в скорости становится существенной. Библиотека также предоставляет готовые функции для типовых вычислений, например: суммы, средние значения, минимумы и максимумы.
SciPy — библиотека для научного подхода
Название расшифровывается как Scientific Python — «научный Python». SciPy расширяет возможности NumPy и добавляет функции для научных и инженерных вычислений.
Библиотека пригодится, когда задача выходит за рамки простых вычислений — например, решить уравнение, оптимизировать функцию или провести статистический тест. Скажем, нужно проверить, новая версия сайта действительно приносит больше заказов или разница случайна, — SciPy предоставит инструменты для такой проверки.
Для начинающего аналитика SciPy чаще всего полезна статистическим модулем scipy.stats. Модуль — отдельная часть библиотеки, которая отвечает за конкретную область задач, в этом случае — за статистические расчёты. В scipy. stats собраны десятки распределений и тестов: можно посчитать корреляцию между переменными или провести t-тест, чтобы понять, можно ли доверять найденным закономерностям.
Библиотека пригодится, когда задача выходит за рамки простых вычислений — например, решить уравнение, оптимизировать функцию или провести статистический тест. Скажем, нужно проверить, новая версия сайта действительно приносит больше заказов или разница случайна, — SciPy предоставит инструменты для такой проверки.
Для начинающего аналитика SciPy чаще всего полезна статистическим модулем scipy.stats. Модуль — отдельная часть библиотеки, которая отвечает за конкретную область задач, в этом случае — за статистические расчёты. В scipy. stats собраны десятки распределений и тестов: можно посчитать корреляцию между переменными или провести t-тест, чтобы понять, можно ли доверять найденным закономерностям.
Pandas — работа с таблицами
Главный инструмент аналитика для работы с табличными данными. Если NumPy — фундамент для вычислений, то pandas — надстройка, которая делает процесс удобным и понятным.
Основа библиотеки — структура DataFrame. Это таблица со строками и столбцами, похожая на лист Excel или Google Таблиц. Каждый столбец имеет название и может содержать разные типы информации: числа, текст, даты. Pandas позволяет загружать такие таблицы из файлов CSV, Excel, баз данных и других источников.
Сила библиотеки — в удобных инструментах для обработки. Отфильтровать строки по условию, сгруппировать данные по категориям, посчитать статистику по каждой группе — всё это делается короткими командами.
Pandas также подходит для быстрой визуализации. Библиотека умеет строить простые графики — линейные, столбчатые и гистограммы — без подключения дополнительных инструментов.
Основа библиотеки — структура DataFrame. Это таблица со строками и столбцами, похожая на лист Excel или Google Таблиц. Каждый столбец имеет название и может содержать разные типы информации: числа, текст, даты. Pandas позволяет загружать такие таблицы из файлов CSV, Excel, баз данных и других источников.
Сила библиотеки — в удобных инструментах для обработки. Отфильтровать строки по условию, сгруппировать данные по категориям, посчитать статистику по каждой группе — всё это делается короткими командами.
Pandas также подходит для быстрой визуализации. Библиотека умеет строить простые графики — линейные, столбчатые и гистограммы — без подключения дополнительных инструментов.
Matplotlib — базовая визуализация
Matplotlib — библиотека для построения графиков и диаграмм. Это один из старейших инструментов визуализации в Python, на котором основаны многие другие.
Графики помогают увидеть то, что сложно заметить в таблице с цифрами. Столбец с продажами за год — это сотни чисел, а линейный график по тем же данным сразу покажет сезонные пики, провалы и общий тренд. Визуализация нужна и для проверки гипотез на этапе исследования, и для презентации результатов коллегам или заказчику.
Matplotlib умеет строить практически любые типы графиков: линейные, столбчатые, точечные, круговые диаграммы, гистограммы. Библиотека даёт полный контроль над внешним видом и позволяет выбирать цвета, подписи осей, размеры шрифтов и аннотации. Это одновременно и преимущество, и недостаток: чтобы сделать красивый график, приходится писать много дополнительного кода.
Графики помогают увидеть то, что сложно заметить в таблице с цифрами. Столбец с продажами за год — это сотни чисел, а линейный график по тем же данным сразу покажет сезонные пики, провалы и общий тренд. Визуализация нужна и для проверки гипотез на этапе исследования, и для презентации результатов коллегам или заказчику.
Matplotlib умеет строить практически любые типы графиков: линейные, столбчатые, точечные, круговые диаграммы, гистограммы. Библиотека даёт полный контроль над внешним видом и позволяет выбирать цвета, подписи осей, размеры шрифтов и аннотации. Это одновременно и преимущество, и недостаток: чтобы сделать красивый график, приходится писать много дополнительного кода.
Примеры визуализации данных с помощью Matplotlib. Источник: DataScientest
Основной модуль библиотеки называется pyplot — именно его подключают в начале работы. Типичный сценарий выглядит так: аналитик загружает данные через pandas, а затем строит визуализацию в Matplotlib, чтобы понять структуру данных или показать результаты. Для быстрого исследования библиотека может показаться избыточной: слишком много настроек для простого графика, — и здесь на помощь приходит seaborn.
Seaborn — статистическая визуализация
Seaborn построена поверх Matplotlib и делает представление данных проще. Графики выглядят понятно без долгих настроек: библиотека использует предусмотренные цветовые палитры и автоматически подбирает подписи.
Seaborn умеет работать напрямую с таблицами pandas: достаточно указать DataFrame (табличную структуру данных) и названия столбцов — график построится сам. Это особенно удобно на этапе исследования данных, когда нужно быстро проверить гипотезу или найти закономерность.
Одна из сильных сторон библиотеки — тепловые карты. Это таблицы, где значения закодированы цветом: тёмные ячейки означают низкие значения, светлые — высокие. Тепловая карта корреляций покажет, какие переменные связаны между собой сильнее всего — и сделает это нагляднее, чем таблица с числами.
Seaborn умеет работать напрямую с таблицами pandas: достаточно указать DataFrame (табличную структуру данных) и названия столбцов — график построится сам. Это особенно удобно на этапе исследования данных, когда нужно быстро проверить гипотезу или найти закономерность.
Одна из сильных сторон библиотеки — тепловые карты. Это таблицы, где значения закодированы цветом: тёмные ячейки означают низкие значения, светлые — высокие. Тепловая карта корреляций покажет, какие переменные связаны между собой сильнее всего — и сделает это нагляднее, чем таблица с числами.
Пример тепловой карты корреляций в seaborn. Источник: Medium*
Ещё seaborn хороша для визуализации распределений — когда нужно понять, как значения в столбце разбросаны по диапазону. Например, в данных о зарплатах большинство значений может быть в районе 50−80 тысяч, но несколько человек получают 500 тысяч — это выбросы, то есть значения, которые сильно отличаются от остальных. Seaborn умеет показывать такие аномалии наглядно: одной командой можно построить график, где видны медиана, разброс основных значений и отдельные точки за пределами нормы — сразу понятно, какие данные ведут себя нетипично.
Seaborn и Matplotlib хорошо работают вместе: первую используют для быстрого построения основы, вторую — для тонкой настройки деталей, если необходимо.
Seaborn и Matplotlib хорошо работают вместе: первую используют для быстрого построения основы, вторую — для тонкой настройки деталей, если необходимо.
* Доступ к ресурсу ограничен на территории РФ.
Scikit-learn — следующий шаг к машинному обучению
После освоения pandas и визуализации можно переходить к прогнозированию с помощью scikit-learn. Библиотека позволяет строить модели, которые находят закономерности в данных. Человеку не приходится объяснять, какие признаки важны: компьютер выявляет их самостоятельно на основе примеров.
Допустим, есть информация о клиентах и сведения о том, кто из них ушёл к конкурентам. Модель изучает эти данные, находит признаки, которые отличают ушедших людей от оставшихся, и учится предсказывать вероятность ухода для новых клиентов.
Допустим, есть информация о клиентах и сведения о том, кто из них ушёл к конкурентам. Модель изучает эти данные, находит признаки, которые отличают ушедших людей от оставшихся, и учится предсказывать вероятность ухода для новых клиентов.
Scikit-learn предоставляет десятки алгоритмов для разных задач. Среди самых популярных — классификация, регрессия и кластеризация. Классификация помогает разделить объекты на категории: спам или не спам, одобрить кредит или отказать. Регрессия предсказывает числовые значения: цену квартиры, спрос на товар, выручку следующего месяца. Кластеризация группирует похожие объекты без заранее известных категорий — например, выделяет сегменты покупателей с похожим поведением.
Помимо алгоритмов, библиотека включает инструменты для подготовки данных. Перед обучением модели часто нужно привести признаки к одному масштабу, закодировать текстовые категории числами или заполнить пропущенные значения — для всего этого есть готовые функции.
Помимо алгоритмов, библиотека включает инструменты для подготовки данных. Перед обучением модели часто нужно привести признаки к одному масштабу, закодировать текстовые категории числами или заполнить пропущенные значения — для всего этого есть готовые функции.
Углубитесь в работу с Python и научитесь применять библиотеки ↓
• Освоите ключевой инструмент для анализа данных и машинного обучения
• Научитесь работать с данными на всех этапах: от сбора, очистки, анализа до визуализации
• Соберёте портфолио и спланируете карьерный рост
• Научитесь работать с данными на всех этапах: от сбора, очистки, анализа до визуализации
• Соберёте портфолио и спланируете карьерный рост
• Освоите ключевой инструмент для анализа данных и машинного обучения
• Научитесь работать с данными на всех этапах: от сбора, очистки, анализа до визуализации
• Соберёте портфолио и спланируете карьерный рост
• Научитесь работать с данными на всех этапах: от сбора, очистки, анализа до визуализации
• Соберёте портфолио и спланируете карьерный рост
Первые шаги можно сделать бесплатно ↓
Разберётесь в базовых инструментах и решите реальные задачи
Практика: от установки до первого анализа
Понять логику работы с Python проще всего на практике. Разбираемся, как подготовить рабочее окружение и провести первый анализ данных.
Устанавливаем библиотеки
Для установки есть два способа: через менеджер пакетов pip или через готовый набор Anaconda. Рассказываем подробнее о каждом.
1. Через pip
Pip — стандартный инструмент для установки библиотек, который входит в состав Python начиная с версии 3.4.
Чтобы установить библиотеки, нужно открыть командную строку.
Чтобы установить библиотеки, нужно открыть командную строку.
- В Windows — через меню «Пуск»: ввести в поиске cmd и нажать Enter.
- В macOS — открыть программу «Терминал» через Spotlight или папку «Программы».
pip install numpy pandas scipy matplotlib seaborn scikit-learn
Эта команда скачает все шесть библиотек за один раз. Pip возьмёт нужные файлы и установит их в систему, — процесс занимает несколько минут в зависимости от скорости интернета.
2. Через Anaconda
Anaconda — готовая сборка, куда уже включены Python, популярные библиотеки и дополнительные инструменты. Не нужно устанавливать их отдельно: всё работает сразу.
Скачать Anaconda можно бесплатно с официального сайта. После скачивания — запустить установщик и следовать инструкциям на экране. Вместе с библиотеками Anaconda устанавливает Jupyter Notebook — среду, в которой обычно работают аналитики. Там можно чередовать блоки кода с текстовыми пояснениями и сразу видеть графики.
Скачать Anaconda можно бесплатно с официального сайта. После скачивания — запустить установщик и следовать инструкциям на экране. Вместе с библиотеками Anaconda устанавливает Jupyter Notebook — среду, в которой обычно работают аналитики. Там можно чередовать блоки кода с текстовыми пояснениями и сразу видеть графики.
- Для новичков Anaconda — более простой путь: не придётся разбираться с настройками и решать проблемы совместимости библиотек
Пробуем проанализировать данные
Titanic — классический учебный набор данных с информацией о пассажирах одноимённого корабля: возраст, пол, класс каюты, стоимость билета и сведения о том, выжил пассажир или нет. На этом примере используем все шесть библиотек.
Наша задача — понять, какие факторы влияли на выживаемость пассажиров, и построить модель, которая предсказывает шансы на спасение.
Код можно выполнять в Jupyter Notebook. Чтобы его открыть, нужно найти в Anaconda соответствующую карточку и нажать Launch.
Наша задача — понять, какие факторы влияли на выживаемость пассажиров, и построить модель, которая предсказывает шансы на спасение.
Код можно выполнять в Jupyter Notebook. Чтобы его открыть, нужно найти в Anaconda соответствующую карточку и нажать Launch.
Карточка Jupyter Notebook в Anaconda
В браузере откроется страница с папками компьютера. Выбираем ту, где будем работать, — например, Documents. Справа вверху нажимаем New → Python.
Создание нового ноутбука через меню New → Python
Откроется пустая страница с полем для ввода. Каждый блок кода нужно вставлять отдельно и запускать по очереди сочетанием клавиш Shift + Enter — результат появится сразу.
Новый ноутбук с полем для кода
1. Загружаем данные с помощью pandas и seaborn
Pandas будет работать с таблицей, а в seaborn уже встроен датасет Titanic: его не нужно скачивать отдельно.
import pandas as pd
import seaborn as sns
titanic = sns.load_dataset('titanic')
import seaborn as sns
titanic = sns.load_dataset('titanic')
Теперь данные загружены в переменную titanic. Посмотрим на первые пять строк таблицы, чтобы понять, с чем работаем:
titanic.head()
На экране появится таблица со столбцами: survived — выжил или нет, pclass — класс каюты, sex — пол, age — возраст, fare — стоимость билета — и другими.
Как выглядит таблица с данными в Anaconda
2. Изучаем структуру данных с помощью pandas
Прежде чем анализировать, нужно понять, что у нас есть: сколько строк и столбцов, какие типы данных, есть ли пропуски. Всё это делает pandas.
titanic.shape
Результат — два числа: количество строк и столбцов. В датасете Titanic это 891 строка и 15 столбцов. Вводим дальше:
titanic.info()
Этот метод покажет список всех столбцов, тип данных в каждом и количество непустых значений. Если в столбце меньше 891 значения — значит, есть пропуски. Теперь вводим:
titanic.describe()
Метод describe () выводит статистику по числовым столбцам: среднее, минимум, максимум, медиану. Например, можно сразу увидеть, что средний возраст пассажиров — около 30 лет, а самый дорогой билет стоил 512 условных единиц.
Статистика по числовым столбцам
3. Обрабатываем пропуски с помощью pandas
В реальных данных часто чего-то не хватает. Посмотрим, в каких столбцах есть пропуски:
titanic.isnull().sum()
Результат покажет количество пропущенных значений по каждому критерию.
Пропущенные значения в разных столбцах
Больше всего пропусков в столбце deck — 688. Это буквенное обозначение палубы, на которой располагалась каюта пассажира. Для нашего анализа этот столбец не нужен: мы будем предсказывать выживаемость по возрасту, классу каюты и стоимости билета. А вот возраст нам пригодится — в столбце age 177 пустых значений.
Модели машинного обучения не умеют работать с пропусками, поэтому их нужно заполнить. Самый простой способ — подставить среднее значение:
Модели машинного обучения не умеют работать с пропусками, поэтому их нужно заполнить. Самый простой способ — подставить среднее значение:
titanic['age'] = titanic['age'].fillna(titanic['age'].mean())
Теперь в столбце age вместо пропусков будет стоять средний возраст пассажиров.
4. Строим графики с помощью Matplotlib и seaborn
Визуализация помогает увидеть закономерности, которые сложно заметить в таблице. Подключаем Matplotlib:
import matplotlib.pyplot as plt
Построим гистограмму возраста: она покажет, пассажиров какого возраста было больше всего:
plt.figure(figsize=(10, 6))
sns.histplot(data=titanic, x='age', bins=30)
plt.title('Распределение возраста пассажиров')
plt.xlabel('Возраст')
plt.ylabel('Количество')
plt.show()
sns.histplot(data=titanic, x='age', bins=30)
plt.title('Распределение возраста пассажиров')
plt.xlabel('Возраст')
plt.ylabel('Количество')
plt.show()
График с распределением возраста
На графике видно, что большинство пассажиров в возрасте от 20 до 40 лет, а детей и пожилых было значительно меньше. Самый высокий столбец частично объясняется тем, что мы заполнили пропуски средним значением.
Теперь посмотрим, как класс каюты влиял на выживаемость:
Теперь посмотрим, как класс каюты влиял на выживаемость:
plt.figure(figsize=(8, 5))
sns.barplot(data=titanic, x='class', y='survived')
plt.title('Доля выживших по классам кают')
plt.xlabel('Класс каюты')
plt.ylabel('Доля выживших')
plt.show()
sns.barplot(data=titanic, x='class', y='survived')
plt.title('Доля выживших по классам кают')
plt.xlabel('Класс каюты')
plt.ylabel('Доля выживших')
plt.show()
График с долей выживших по классам кают
Видно, что пассажиры первого класса выживали примерно в 60% случаев, а третьего — менее чем в 25%.
5. Проверяем гипотезу с помощью NumPy и SciPy
Кажется, что возраст мог влиять на выживаемость: возможно, детей и молодых спасали чаще. Проверим это статистически с помощью t-теста. Он покажет, случайна ли разница в возрасте между выжившими и погибшими.
import numpy as np
from scipy import stats
survived = titanic[titanic['survived'] == 1]['age']
not_survived = titanic[titanic['survived'] == 0]['age']
t_stat, p_value = stats.ttest_ind(survived, not_survived)
print(f'p-value: {p_value:.4f}')
from scipy import stats
survived = titanic[titanic['survived'] == 1]['age']
not_survived = titanic[titanic['survived'] == 0]['age']
t_stat, p_value = stats.ttest_ind(survived, not_survived)
print(f'p-value: {p_value:.4f}')
Теперь посмотрим на результат: значение p-value покажет, есть ли связь между возрастом и выживаемостью. За ориентир берём порог 0,05: он равен 5% и используется в большинстве исследований как стандарт. Если p-value меньше, связь есть, возраст влиял на шансы выжить. Если больше — разница может быть случайной.
Результат p-value
В нашем случае p-value равен 0,0372 — а значит, можно сделать вывод, что шансы на выживание зависели от возраста пассажиров.
6. Строим модель с помощью scikit-learn
Теперь попробуем предсказать выживаемость на основе нескольких признаков: класса каюты, возраста и стоимости билета. Для этого используем логистическую регрессию — один из базовых алгоритмов машинного обучения. Он хорошо подходит для задач с двумя исходами: в нашем случае — выжил или нет.
Сначала подготовим данные. Возьмём только нужные столбцы и разделим данные на две части: на одной модель будет учиться, на другой — проверяться.
Сначала подготовим данные. Возьмём только нужные столбцы и разделим данные на две части: на одной модель будет учиться, на другой — проверяться.
from sklearn.model_selection import train_test_split
from sklearn.linear_model import LogisticRegression
from sklearn.metrics import accuracy_score
features = titanic[['pclass', 'age', 'fare']].copy()
target = titanic['survived']
X_train, X_test, y_train, y_test = train_test_split(
features, target, test_size=0.2, random_state=42
)
from sklearn.linear_model import LogisticRegression
from sklearn.metrics import accuracy_score
features = titanic[['pclass', 'age', 'fare']].copy()
target = titanic['survived']
X_train, X_test, y_train, y_test = train_test_split(
features, target, test_size=0.2, random_state=42
)
Теперь 80% данных — в обучающей выборке, 20% — в тестовой. Обучаем модель:
model = LogisticRegression(max_iter=1000)
model.fit(X_train, y_train)
model.fit(X_train, y_train)
Модель обучена. Проверим, насколько хорошо она предсказывает на данных, которые не видела:
predictions = model.predict(X_test)
accuracy = accuracy_score(y_test, predictions)
print(f'Точность модели: {accuracy:.2%}')
accuracy = accuracy_score(y_test, predictions)
print(f'Точность модели: {accuracy:.2%}')
Результат — доля правильных предсказаний.
Результат с точностью модели
В нашем случае точность равна 73,74%, значит, компьютер угадал исход для 74 пассажиров из 100. Для первой модели на трёх признаках это неплохой результат. Повысить точность можно, добавив новые признаки или попробовав другие алгоритмы.
Частые ошибки новичков и способы их избежать
Освоение нового инструмента редко проходит гладко. Понимание типичных ошибок помогает пройти путь быстрее.
Страх сделать неправильно
Начинающие специалисты стремятся к идеалу с первого раза — и, вместо того чтобы пробовать, часами читают документацию и откладывают практику на потом. Но в ошибках нет ничего страшного: всплывающие сообщения помогают найти и исправить проблему.
Новички часто не умеют разбирать и искать информацию по ошибкам. Они видят красный текст и пытаются угадать решение, вместо того чтобы прочитать сообщение интерпретатора. Современные среды, такие как Jupyter Notebook и Google Colab, обычно дают очень подробные комментарии, а по тексту ошибки почти всегда можно быстро найти решение в документации. Например, сообщение KeyError означает, что нет такого ключа или столбца. Это не катастрофа, это подсказка: проверь название.
Новички часто не умеют разбирать и искать информацию по ошибкам. Они видят красный текст и пытаются угадать решение, вместо того чтобы прочитать сообщение интерпретатора. Современные среды, такие как Jupyter Notebook и Google Colab, обычно дают очень подробные комментарии, а по тексту ошибки почти всегда можно быстро найти решение в документации. Например, сообщение KeyError означает, что нет такого ключа или столбца. Это не катастрофа, это подсказка: проверь название.
- Иван АнисковецСпециалист по анализу данных и data science
- Иван АнисковецСпециалист по анализу данных и data science
Работа с данными без предварительной проверки
Пропущенные значения, дубликаты, неверные типы данных — всё это искажает результаты анализа. Прежде чем считать статистику или строить модель, полезно изучить структуру данных: посмотреть первые строки таблицы, проверить типы столбцов и найти пропуски.
Копирование кода без понимания
Код из интернета может не подходить под конкретную задачу. Скопировать решение из базы знаний Stack Overflow легко, но, если не понимать, что делает каждая строка, ошибку будет сложно найти и исправить. Лучше разобраться в логике, даже если это займёт больше времени.
Игнорирование документации
Официальная документация библиотек — надёжный источник информации, где можно найти примеры, объяснения параметров и описания типичных сценариев использования. У всех шести библиотек из статьи есть подробные руководства, которые часто отвечают на вопрос быстрее, чем поиск на форумах.
Сложные модели без базового анализа
Часто новичкам хочется сразу строить модели машинного обучения, но без понимания данных результаты будут ненадёжными. Сначала полезно посмотреть распределения, найти выбросы, проверить корреляции. Этот этап помогает понять, какие признаки важны и есть ли в данных проблемы.
Потеря промежуточных результатов
Обработка больших данных может занимать много времени. Если не сохранять промежуточные этапы, придётся запускать весь код заново после каждой ошибки или перезагрузки. Полезно сохранять очищенные данные в отдельный файл, прежде чем переходить к следующему шагу.
Путь развития в аналитике и data science
Базовые библиотеки — это фундамент. Что изучать дальше, зависит от направления, в котором хочется развиваться.
Для углубления в аналитику
- SQL — язык запросов к базам данных, то есть хранилищам, где компании держат информацию о клиентах, заказах, транзакциях. SQL позволяет извлекать, фильтровать и агрегировать нужные сведения. Большинство компаний хранят данные в базах, поэтому SQL — обязательный навык для аналитика.
SQL — почти всегда must have. Для аналитика или дата-сайентиста это основной способ получать данные. Какой бы ни была роль, направление или компания — без SQL нет источника данных, а значит, нет и аналитики. При этом SQL достаточно изучить один раз: язык стабильный, методы обработки универсальные и знания легко переносятся между проектами.
SQL — почти всегда must have. Для аналитика или дата-сайентиста это основной способ получать данные. Какой бы ни была роль, направление или компания — без SQL нет источника данных, а значит, нет и аналитики. При этом SQL достаточно изучить один раз: язык стабильный, методы обработки универсальные и знания легко переносятся между проектами.
- Иван АнисковецСпециалист по анализу данных и data science
- Иван АнисковецСпециалист по анализу данных и data science
- BI-инструменты вроде Power BI, Tableau* и DataLens — платформы для построения интерактивных дашбордов и отчётов. Дашборд — страница с графиками и таблицами, которые обновляются автоматически при поступлении новых данных. Пользователь может кликать на элементы, фильтровать информацию, смотреть детали. BI-инструменты позволяют визуализировать данные без написания кода и делиться результатами.
- Plotly — библиотека Python для создания интерактивных графиков. В отличие от Matplotlib в Plotly графики не статичны: можно увеличивать их и встраивать на веб-страницы, наводить на них курсор для просмотра значений.
* Доступ к ресурсу ограничен на территории РФ
Для движения в сторону data science
- Углублённое изучение scikit-learn — освоение большего количества алгоритмов, методов оценки моделей, подбора параметров. В базовом примере из статьи мы использовали логистическую регрессию, но в библиотеке десятки других алгоритмов для разных задач.
- TensorFlow и PyTorch — библиотеки для работы с нейросетями. Они позволяют строить модели глубокого обучения для распознавания изображений, обработки текста и генерации контента.
- Обработка естественного языка (NLP) — работа с текстовыми данными: классификация текстов, анализ тональности и создание чат-ботов.
- Компьютерное зрение — работа с изображениями и видео: распознавание объектов, лиц и сегментация изображений.
Понять, в какую сторону двигаться, поможет бесплатный курс ↓
• Узнаете актуальные направления и зарплаты
• Поймёте, какие навыки нужны разным специалистам
• Сможете найти свою профессию и бесплатно погрузиться в неё
• Поймёте, какие навыки нужны разным специалистам
• Сможете найти свою профессию и бесплатно погрузиться в неё
• Узнаете актуальные направления и зарплаты
• Поймёте, какие навыки нужны разным специалистам
• Сможете найти свою профессию и бесплатно погрузиться в неё
• Поймёте, какие навыки нужны разным специалистам
• Сможете найти свою профессию и бесплатно погрузиться в неё
Для всех направлений
- PySpark — инструмент для обработки больших данных. Обычные библиотеки работают с данными, которые помещаются в оперативную память компьютера. PySpark позволяет обрабатывать датасеты, которые в память не помещаются, — распределяя вычисления между несколькими машинами.
- Автоматизация отчётов и пайплайнов — написание скриптов, которые регулярно собирают данные, обрабатывают их и формируют отчёты без ручного участия. Пайплайн — это цепочка шагов обработки данных, которая запускается автоматически.
- Гибкие навыки, или soft skills, — навыки, которые не связаны напрямую с кодом, но важны для работы.
Параллельно с Python я бы посоветовал развивать коммуникацию, презентационные навыки, ведение документации, грамотность в формулировке задач и вопросов. Даже на собеседовании это помогает: если ты сталкиваешься с неизвестной библиотекой или методом, можно сказать: «Могу ли я посмотреть документацию?» — и это уже демонстрация зрелости, серьёзного подхода к работе и уверенности в анализе информации.
Параллельно с Python я бы посоветовал развивать коммуникацию, презентационные навыки, ведение документации, грамотность в формулировке задач и вопросов. Даже на собеседовании это помогает: если ты сталкиваешься с неизвестной библиотекой или методом, можно сказать: «Могу ли я посмотреть документацию?» — и это уже демонстрация зрелости, серьёзного подхода к работе и уверенности в анализе информации.
- Иван АнисковецСпециалист по анализу данных и data science
- Иван АнисковецСпециалист по анализу данных и data science
Читать также
Чтобы быть в курсе всех новостей и не пропускать новые статьи, присоединяйтесь к Telegram-каналу Нетологии.
Дина Майсон
Автор, UX-редактор
Оцените статью