Каталог курсов
Избранное
Профессия

Совместно с

Дата-инженер

Перейдёте в профессию с высоким окладом на низкоконкурентном рынке

Научитесь автоматизировать работу с данными и разрабатывать архитектуру данных

Сможете претендовать на позицию инженера данных через 12 месяцев обучения

Поможем подобрать обучение
Нажимая кнопку, принимаю условия политики и пользовательского соглашения
Когда
17 октября 2024 — 4 июня 2026

Длительность

От 19 месяцев

Формат обучения

Вебинары, видеолекции, практика

Документ

Диплом о профессиональной переподготовке

40%
с 05.10 по 08.10

В сезон шарфов и пальто

Скидка уже включена в стоимость. Оплатите до 8 октября, чтобы скидка не сгорела.

Условия акции

Инженер данных повышает продуктивность команды, обеспечивая аналитиков качественными данными

Инженер данных работает в команде и создаёт ценность для бизнеса, взаимодействуя с разными участниками — от разработчиков до бизнес‑пользователей отчётности.

Он выстраивает пайплайны для обработки и трансформации данных, чтобы коллеги работали уже с очищенными и подготовленными данными.

Зарплата дата-инженера

По данным вакансий на hh.ru

  • Junior-специалист 

    Опыт до 1 года

  • Middle-специалист

    Опыт 1–3 года

  • Senior-специалист

    Опыт более 3 лет

Чему вы научитесь

Объяснять архитектуру и структуру базы данных

Проектировать схемы хранилищ и выбирать DWH под задачу и бюджет бизнеса среди популярных решений

Создавать процессы обработки данных

Настраивать и конфигурировать ETL / ELT-процессы в нескольких дата-инструментах

Писать приложение
на Kafka Streams DSL

Настроите приложение, в котором алерт-сообщения будут отправляться при заданных условиях

Использовать в работе Spark SQL

На практике получите навык работы с DataFrame API

Применять навык data literacy

Сможете понимать, пояснять и обогащать данные отчётов

Презентовать важные для бизнеса данные

Агрегировать информацию в многомерные структуры данных и на их основе формировать отчёты

Выполните 6 масштабных проектов для портфолио

Разработка SQL-запросов
Разработаете SQL-запросы для решения задач аналитики авиаперелётов

Партнёр курса — Yandex Cloud

Yandex Cloud — облачная платформа, где каждый может создавать и совершенствовать свои цифровые сервисы, используя инфраструктуру и уникальные технологии Яндекса.

Студенты Нетологии получат возможность бесплатно использовать мощности платформы Yandex Cloud в течение всего периода обучения.

Курс в подарок при покупке
до конца октября

До 1 ноября дарим курс по облачной инфраструктуре

  • Основы облачных технологий

    Познакомитесь с основами облачных технологий
    и возможностями Яндекс Облака

  • Виртуальные машины и принципы работы

    Узнаете о виртуальных машинах и научитесь их создавать

  • Обеспечение безопасности облака

    Узнаете, как обеспечить безопасность облака и почему она критически важна

  • Создание среды разработки

    Разберётесь, как работать с виртуальной машиной,
    как взаимодействовать с командной строкой, как развернуть и настроить среду разработки

Программа обучения —
от 19 месяцев

Чтобы программа соответствовала запросам рынка труда, мы проводим 3 этапа исследований

● Вебинары с экспертами в прямом эфире проходят до двух раз в неделю, начинаются в промежутке с 18:00 до 20:00 МСК

● На лекции и практические задания понадобится 12-15 часов в неделю

● Записи вебинаров, видеолекции, презентации, тесты и другие полезные материалы хранятся в личном кабинете

SQL и получение данных

Итоговая работа — разработка SQL-запросов

Научитесь с помощью SQL получать данные из БД, а также фильтровать, агрегировать, импортировать и экспортировать их.

20 часов теории

32 часа практики

Введение в SQL. Установка и знакомство

Основы и работа с базами данных
Основы SQL
Углубление в SQL
Работа с базой данных PostgreSQL

SQL PRO

Научитесь поднимать, настраивать кластеры, масштабировать данные, писать хранимые процедуры и триггеры, понимать структуры данных, как они нормализуются и денормализуются. Погрузитесь в специфику проектирования баз данных и интеграцию с другими приложениями.

14 часов теории

28 часов практики

Командная строка. DCL и TCL
Зависимости. Нормализация. Денормализация
Масштабирование функций
Интеграция: API, Redis
Хранимые процедуры и триггеры событий
Основы проектирования: архитектурные модели, модели данных

Проектирование DWH

Итоговая работа — проектирование DWH

Познакомитесь с видами хранилищ, поймёте архитектуру DWH и его возможности. На практическом кейсе разберёте популярные инструменты работы с DWH.

17 часов теории

32 часа практики

Понятие БД, СУБД, хранилища данных

Архитектура DWH и принципы построения
Виды заказчиков в процессе разработки DWH
Data Quality и Data Governance
Обзор инструментов для работы с DWH

Tableau для визуализации данных

Итоговая работа — интерактивный дашборд

Познакомитесь с интерфейсом программы. Научитесь загружать данные и работать с основными инструментами. Освоите создание дашбордов.

33 часа теории

31 час практики

Знакомство с инфраструктурой Tableau. Загрузка данных. Первый дашборд

Основные виды визуализаций. Лучшие практики визуализации

Основы работы с расчётными полями, фильтрами, множествами и группировками

Разбор сложных аспектов изученного материала

Разработка дашбордов

Настройка взаимодействия между визуализациями

Python для анализа данных

Научитесь пользоваться базовыми инструментами и подходами в Python, чтобы начать работать с данными. Научитесь получать и очищать данные, находить связи и проверять гипотезы. Сможете работать с главными аналитическими библиотеками.

50 часов теории

39 часов практики

Управляющие конструкции и коллекции

Работа с файловой системой и модули
Исключения и обработка ошибок
Регулярные выражения и основы синтаксического разбора
Библиотека NumPy
Библиотека Pandas

Data Lake & Hadoop

Познакомитесь с основным инструментом обработки больших данных. Разберётесь в возможностях управления ресурсами кластера.

14 часов теории

15 часов практики

Основы Hadoop: архитектура

Data Lake vs Data Warehouse

HDFS: логика работы, Namenode и Datanode

MapReduce: алгоритм и решение задач

Yarn, Pig & Hive

HBase & Cassandra: возможности и основные характеристики

Управление и администрирование кластера

Обзор Apache Ambari, Apache Ranger, Apache Atlas

Продвинутые методы работы с данными

Изучите способы обработки разных видов данных. Узнаете, что такое оркестратор и какие задачи он решает. Поймёте, как эффективно преобразовывать данные в хранилищах.

16 часов теории

12 часов практики

Apache Spark: основные команды и RDD

Spark SQL: DataFrame API и Dataset API
Архитектура Spark: компоненты и идеи
Apache Airflow: основные сущности для построения задач и взаимодействие сущностей
Data Build Tool как инструмент ETL

Организация ETL-процессов с помощью Apache NiFi

Работа с потоковыми данными

Поймёте особенности работы с потоковыми данными. Разберётесь в логике работы брокеров сообщений.

12 часов теории

9 часов практики

Устройство Clickhouse и загрузка данных в корпоративное хранилище

Устройство Kafka и работа с кластером

Конфигурация Kafka Streams

Kafka Streams Interactive Queries, Kafka Streams Processor API, Kafka Connect

Spark Streaming: характеристики и особенности использования

Создание простого приложения на Spark Structure Streaming + Kafka

Работа с данными в облаке

Итоговая работа — построение пайплайна в облачной среде

Познакомитесь с основными облачными провайдерами. Поймёте преимущества использования облачного хранилища. Выполните практические упражнения в облачной среде Yandex Cloud.

11 часов теории

19 часов практики

Построение пайплайна в облачной среде

Работа с виртуальными машинами

Хранение и анализ данных в облаке

Прогнозирование затрат и оптимизация расходов

Обеспечение безопасности в облаке

DevOps и автоматизация

Введение в DS & ML

Познакомитесь с основными задачами машинного обучения. Научитесь работать с очисткой данных. Поймёте, как при помощи обученных моделей решать задачи.

38 часов теории

33 часа практики

Регрессионный анализ. Линейная, полиномиальная и логарифмическая регрессия

Классификация: Логистическая регрессия и SVM
Оценка точности модели, переобучение, регуляризация
Работа с качеством данных
Деревья решений
Поиск выбросов и генерация новых признаков
Feature Selection
Ансамблирование

MLOps

Итоговая работа — настройка окружения и обучение модели

Узнаете, зачем нужен DevOps. Разберётесь в пайплайне разработки ML-моделей.

8 часов теории

25 часов практики

Что такое DevOps / MLOps

Docker и микросервисная архитектура

Технологии контейнеризации, k8s

Оркестраторы

CI/CD

Мониторинг

Инструменты DevOps для обучения ML-моделей

Deploy ML-моделей

Английский для специалистов по работе с данными

Бонусный модуль

Научитесь разбираться в аналитических терминах и читать иностранную техническую документацию. Сможете презентовать результаты анализа с помощью графиков и диаграмм на английском языке. Узнаете, как эффективно готовиться к собеседованиям в зарубежные компании. Научитесь составлять убедительное резюме и писать сопроводительное письмо.

7 часов теории

7 часов практики

Словарь терминов аналитика с примерами употребления и типичными словосочетаниями

Важная лексика для работы с датасетами
Презентация результатов анализа 
Чтение технической документации
Самопрезентация. Elevator Pitch
Прохождение собеседований
Резюме и сопроводительное письмо (CV & сover letter) 
Email-переписка
Общение в технических чатах
Как вести звонки и встречи
Как учить лексику

Как учить грамматику

Дипломный проект

Под руководством ментора вы обработаете данные, сформируете нормализованную схему данных, опишите ETL-процессы для заливки данных и создания витрин. Сформируйте набор метрик и дашбордов на их основе.

40 часов практики

Развивайте навыки работы с кодом на тренажёре

Выполняйте простые задачи для закрепления теории

Пишите и запускайте код прямо в браузер

Пользуйтесь мгновенной проверкой или подсказками

Задавайте вопросы по заданию — вам ответит эксперт или аспирант

Если вы уже прошли курс, входящий в профессию, учитесь дальше со скидкой в размере стоимости курса. При расчёте скидки учитываются фактически пройденные занятия.

Как проходит обучение
.01

Изучаете материалы в личном кабинете

Занятия включают в себя видеолекции и вебинары, практические задания, тесты и квизы. Вы занимаетесь по расписанию, но всегда можете вернуться к началу. Записи занятий хранятся в личном кабинете 3 года.

Все уроки теперь и в мобильном приложении

Мы разработали платформу для смартфонов, чтобы вы могли учиться в спортзале, самолёте, на даче или в пути.

  • Учитесь, где нравится 

    Доступ к учебным материалам всегда под рукой: это экономит ваши ресурсы

  • Занимайтесь даже без интернета

    Можно скачать материалы на телефон и учиться даже там, где плохая связь

  • Получайте подсказки по дедлайнам

    Приложение работает как помощник: напомнит про домашнюю работу или вебинар

  • Загружайте задания с телефона

    Удобно отслеживать статус практических работ и отвечать на комментарии преподавателя

Вам будут преподавать  практикующие эксперты

Мы регулярно проводим внутренние митапы

Это неформальные встречи выпускников и студентов Нетологии с экспертами и потенциальными работодателями

Каждый участник может задать экспертам вопросы, получить ответы или поделиться собственной историей. Митапы проходят раз в две недели по вечерам.

Что вы получите в результате обучения

Дата-инженер

    Ключевые навыки

  • Определение потребностей и требований бизнес-пользователей

  • Управление потоками данных

  • Организация работы с большими данными
  • Создание витрин данных
  • Построение конвейеров обработки данных
  • Работа с data lakes в облаках
  • Настройка окружения и проведение обучения ML-моделей

Инструменты

PostgreSQL

PostgreSQL

Свободная объектно-реляционная система управления базами данных.

Pentaho

Pentaho

Программное обеспечение для бизнес-анализа.

Docker

Docker

Популярная программа для автоматизации, развёртывания и управления приложениями в средах с поддержкой контейнеризации.

Apache Spark

Apache Spark

Фреймворк с открытым исходным кодом для реализации распределённой обработки неструктурированных и слабоструктурированных данных, входящий в экосистему проектов Hadoop.

Apache Airflow

Apache Airflow

Платформа управления рабочим процессом с открытым исходным кодом.

Ansible

Ansible

Автоматизация настройки и развёртывания программного обеспечения

Python

Python

Высокоуровневый язык программирования общего назначения, ориентированный на повышение производительности разработчика и читаемости кода.

Apache Kafka

Apache Kafka

Распределённый программный брокер сообщений, проект с открытым исходным кодом, разрабатываемый в рамках фонда Apache. 

ClickHouse

ClickHouse

Колоночная аналитическая СУБД с открытым кодом, позволяющая выполнять аналитические запросы в режиме реального времени на структурированных больших данных.

Yandex Cloud

Yandex Cloud

Универсальная облачная платформа

Kubernetes

Kubernetes

Открытое программное обеспечение для автоматизации развёртывания, масштабирования контейнеризированных приложений и управления ими.

Prometheus

Prometheus

Приложение для мониторинга событий и оповещения. 

Диплом подтвердит вашу квалификацию 

Мы обучаем по государственной лицензии и выдаём диплом о профессиональной переподготовке, который можно показать работодателю

Поможем найти
ту самую работу
Центр развития карьеры
помогает трудоустроиться студентам Нетологии
1
Научим составлять резюме и проходить интервью
Разберём ваш предыдущий опыт, определим сильные стороны и поможем составить успешное резюме. Научим презентовать себя и проведём тест-драйв интервью.
2
Поможем наработать практику и оформить портфолио
Приобретёте практический опыт и наполните портфолио ещё во время обучения. Разберёте тестовые задания от работодателей и сможете принять участие в их проектах.
3
Предложим стажировки и проекты от партнёров
Предоставим доступ к карьерной странице со стажировками и вакансиями от партнёров Нетологии. Будем делиться подборками с новыми интересными вакансиями.
header
Воркшопы и много практики
Вы сможете сформировать портфолио, выполняя задания компаний-партнёров Нетологии или проходя у них стажировки. Сфокусируетесь на практике, откликах и результате. Поработаете над реальными заданиями, защитите свои решения и получите развивающую обратную связь.
84%
студентов нашли работу с помощью Центра развития карьеры
4 075
компаний-партнёров в базе Нетологии для отработки практики
skyeng1Clamodaramblerraiffeisenvkozonagimakasperskyalfa2gisgettaic

Предложение для компаний

Вы можете обучить сотрудников на этом курсе. Адаптируем программу под ваш бизнес и предоставим отчёты об успеваемости. При обучении сразу нескольких сотрудников — более выгодная стоимость.

Оставьте заявку, мы свяжемся с вами, чтобы подготовить индивидуальное предложение.

Вернём деньги, если обучение не подойдёт

Деньги можно вернуть в любой момент. В течение первых трёх занятий вернём вам полную сумму, а начиная с четвёртого — рассчитаем сумму возврата или поможем выбрать другой курс взамен.

Подробные условия

40%
с 05.10 по 08.10

В сезон шарфов и пальто

Скидка уже включена в стоимость. Оплатите до 8 октября, чтобы скидка не сгорела.

Условия акции
1
Запись на обучение
2
Выбор способа оплаты
3
Оплата
...
20 месяцев обучения, старт 17 октября
Запишитесь или получите консультацию 
Частями без переплат
4 083 ₽/месяц
6 805 на 36 месяцев
Одним платежом
со скидкой 5%
139 700
 ₽
245 000
-40%
акция действует
до 8 октября
Кешбэк 5% бонусами СпасибоКешбэк 5%
бонусами Спасибо
при оплате картой Сбера
Нажимая кнопку, принимаю условия политики и пользовательского соглашения
Нашли дешевле? Сделаем скидку
Вернём деньги, если обучение не подойдёт
Возможность получить налоговый вычет — 13%
20 месяцев обучения, старт 17 октября
Дата-инженер
Частями без переплат
4 083 ₽/месяц
6 805 на 36 месяцев
Одним платежом
со скидкой 5%
139 700
 ₽
245 000
-40%
акция действует
до 8 октября
Кешбэк 5% бонусами СпасибоКешбэк 5%
бонусами Спасибо
при оплате картой Сбера
Нашли дешевле? Сделаем скидку
Вернём деньги, если обучение не подойдёт
Возможность получить налоговый вычет — 13%
Запишитесь или получите консультацию 
Нажимая кнопку, принимаю условия политики и пользовательского соглашения

Отвечаем на вопросы

  • Как оформить рассрочку, какие условия предоставления рассрочки?

    Рассрочку без переплат можно оформить через Сбер, Т-Банк и другие банки-партнёры на сроки от 6 до 36 месяцев. Решение о предоставлении рассрочки принимает банк.

  • Что такое оплата частями?

    Оплата частями — сервис, который помогает разбить стоимость покупки на равные части и выплачивать их в течение нескольких месяцев (от 2 до 24). Покупателю не нужно заключать кредитный договор. При использовании этого сервиса возможна переплата.

  • Как проходит обучение?

    Обучение проходит на образовательной платформе Нетологии. У вас будет личный кабинет с доступом к вебинарам, видеолекциям, дополнительным материалам, домашним заданиям и чату.

  • Кто будет проверять мои домашние задания?

    Домашние задания проверяют преподаватели и кураторы практики. Вы получите развёрнутую обратную связь и индивидуальные рекомендации.