Каталог курсов

Направления обучения

Все курсы Маркетинг Бизнес и управление Дизайн и UX Программирование Аналитика Управление командой Высшее образование Творческие профессии Профессии в образовании Корпоративное обучение Новые профессии Финансы и инвестиции Компьютерные игры Саморазвитие и хобби

Бесплатный курс

начало карьеры

IT-профессии

Как выбрать направление и реализовать себя

Профессия

Совместно с

Дата-инженер с нуля до middle

Перейдёте в профессию с высоким окладом на низкоконкурентном рынке

Научитесь автоматизировать работу с данными и разрабатывать архитектуру данных

Сможете претендовать на позицию инженера данных через 12 месяцев обучения

Когда

19 октября 2023 — 19 февраля 2025

Длительность

16 месяцев

Формат обучения

Вебинары, видеолекции, практика

Документ

Диплом о профессиональной переподготовке

40%

с 23.09 по 25.09

Пока за окном холодает

Скидка уже включена в стоимость. Оплатите до 25 сентября, чтобы скидка не сгорела.

Условия акции

Инженер данных повышает продуктивность команды, обеспечивая аналитиков качественными данными

Инженер данных работает в команде и создаёт ценность для бизнеса, взаимодействуя с разными участниками — от разработчиков до бизнес‑пользователей отчётности.

Он выстраивает пайплайны для обработки и трансформации данных, чтобы коллеги работали уже с очищенными и подготовленными данными.

Зарплата дата-инженера

По данным вакансий на hh.ru

Junior-специалист
Опыт до 1 года
Middle-специалист
Опыт 1–3 года
Senior-специалист
Опыт более 3 лет

Чему вы научитесь

Объяснять архитектуру и структуру базы данных

Проектировать схемы хранилищ и выбирать DWH под задачу и бюджет бизнеса среди популярных решений

Создавать процессы обработки данных

Настраивать и конфигурировать ETL / ELT-процессы в нескольких дата-инструментах

Писать приложение
на Kafka Streams DSL

Настроите приложение, в котором алерт-сообщения будут отправляться при заданных условиях

Использовать в работе Spark SQL

На практике получите навык работы с DataFrame API

Применять навык data literacy

Сможете понимать, пояснять и обогащать данные отчётов

Презентовать важные для бизнеса данные

Агрегировать информацию в многомерные структуры данных и на их основе формировать отчёты

Выполните 6 масштабных проектов для портфолио

Разработка SQL-запросов

Разработаете SQL-запросы для решения задач аналитики авиаперелётов

Партнёр курса — Yandex Cloud

Yandex Cloud — облачная платформа, где каждый может создавать и совершенствовать свои цифровые сервисы, используя инфраструктуру и уникальные технологии Яндекса.

Студенты Нетологии получат возможность бесплатно использовать мощности платформы Yandex Cloud в течение всего периода обучения.

Программа разработана совместно с ПРОФИ

В Профи раскладывают и визуализируют данные так, чтобы аналитики могли строить дашборды, а бизнес — делать выводы и принимать решения на их основе.

В сервисе синхронизированы две СУБД: ClickHouse и Vertica. Команда также развивает аналитику в реальном времени, платформу A/B-тестирования, визуализацию данных в Tableau и Metabase.

Направление Нетологии «Аналитика и Data Science» — обладатель «Премии Рунета» в номинации «Образование и кадры» в 2019 году

Программа обучения —
16 месяцев

236 часов теории и 323 часа практики

● Вебинары с экспертами в прямом эфире проходят 1-2 раза в неделю, начинаются в промежутке с 18:00 до 20:00 МСК

● На лекции и практические задания понадобится 12-15 часов в неделю

● Записи вебинаров, видеолекции, презентации, тесты и другие полезные материалы хранятся в личном кабинете

SQL и получение данных

Итоговая работа — разработка SQL-запросов

Научитесь с помощью SQL получать данные из БД, а также фильтровать, агрегировать, импортировать и экспортировать их.

20 часов теории

32 часа практики

Введение в SQL. Установка и знакомство

Основы и работа с базами данных

Основы SQL

Углубление в SQL

Работа с базой данных PostgreSQL

SQL PRO

Научитесь поднимать, настраивать кластеры, масштабировать данные, писать хранимые процедуры и триггеры, понимать структуры данных, как они нормализуются и денормализуются. Погрузитесь в специфику проектирования баз данных и интеграцию с другими приложениями.

14 часов теории

28 часов практики

Командная строка. DCL и TCL

Зависимости. Нормализация. Денормализация

Масштабирование функций

Интеграция: API, Redis

Хранимые процедуры и триггеры событий

Основы проектирования: архитектурные модели, модели данных

Проектирование DWH

Итоговая работа — проектирование DWH

Познакомитесь с видами хранилищ, поймёте архитектуру DWH и его возможности. На практическом кейсе разберёте популярные инструменты работы с DWH.

17 часов теории

32 часа практики

Понятие БД, СУБД, хранилища данных

Архитектура DWH и принципы построения

Виды заказчиков в процессе разработки DWH

Data Quality и Data Governance

Обзор инструментов для работы с DWH

Tableau для визуализации данных

Итоговая работа — интерактивный дашборд

Познакомитесь с интерфейсом программы. Научитесь загружать данные и работать с основными инструментами. Освоите создание дашбордов.

33 часа теории

31 час практики

Знакомство с инфраструктурой Tableau. Загрузка данных. Первый дашборд

Основные виды визуализаций. Лучшие практики визуализации

Основы работы с расчётными полями, фильтрами, множествами и группировками

Разбор сложных аспектов изученного материала

Разработка дашбордов

Настройка взаимодействия между визуализациями

Python для анализа данных

Научитесь пользоваться базовыми инструментами и подходами в Python, чтобы начать работать с данными. Научитесь получать и очищать данные, находить связи и проверять гипотезы. Сможете работать с главными аналитическими библиотеками.

50 часов теории

39 часов практики

Управляющие конструкции и коллекции

Работа с файловой системой и модули

Исключения и обработка ошибок

Регулярные выражения и основы синтаксического разбора

Библиотека NumPy

Библиотека Pandas

Data Lake & Hadoop

Познакомитесь с основным инструментом обработки больших данных. Разберётесь в возможностях управления ресурсами кластера.

14 часов теории

15 часов практики

Основы Hadoop: архитектура

Data Lake vs Data Warehouse

HDFS: логика работы, Namenode и Datanode

MapReduce: алгоритм и решение задач

Yarn, Pig & Hive

HBase & Cassandra: возможности и основные характеристики

Управление и администрирование кластера

Обзор Apache Ambari, Apache Ranger, Apache Atlas

Продвинутые методы работы с данными

Изучите способы обработки разных видов данных. Узнаете, что такое оркестратор и какие задачи он решает. Поймёте, как эффективно преобразовывать данные в хранилищах.

16 часов теории

12 часов практики

Apache Spark: основные команды и RDD

Spark SQL: DataFrame API и Dataset API

Архитектура Spark: компоненты и идеи

Apache Airflow: основные сущности для построения задач и взаимодействие сущностей

Data Build Tool как инструмент ETL

Организация ETL-процессов с помощью Apache NiFi

Работа с потоковыми данными

Поймёте особенности работы с потоковыми данными. Разберётесь в логике работы брокеров сообщений.

12 часов теории

9 часов практики

Устройство Clickhouse и загрузка данных в корпоративное хранилище

Устройство Kafka и работа с кластером

Конфигурация Kafka Streams

Kafka Streams Interactive Queries, Kafka Streams Processor API, Kafka Connect

Spark Streaming: характеристики и особенности использования

Создание простого приложения на Spark Structure Streaming + Kafka

Работа с данными в облаке

Итоговая работа — построение пайплайна в облачной среде

Познакомитесь с основными облачными провайдерами. Поймёте преимущества использования облачного хранилища. Выполните практические упражнения в облачной среде Yandex Cloud.

11 часов теории

19 часов практики

Построение пайплайна в облачной среде

Работа с виртуальными машинами

Хранение и анализ данных в облаке

Прогнозирование затрат и оптимизация расходов

Обеспечение безопасности в облаке

DevOps и автоматизация

Введение в DS & ML

Познакомитесь с основными задачами машинного обучения. Научитесь работать с очисткой данных. Поймёте, как при помощи обученных моделей решать задачи.

38 часов теории

33 часа практики

Регрессионный анализ. Линейная, полиномиальная и логарифмическая регрессия

Классификация: Логистическая регрессия и SVM

Оценка точности модели, переобучение, регуляризация

Работа с качеством данных

Деревья решений

Поиск выбросов и генерация новых признаков

Feature Selection

Ансамблирование

MLOps

Итоговая работа — настройка окружения и обучение модели

Узнаете, зачем нужен DevOps. Разберётесь в пайплайне разработки ML-моделей.

8 часов теории

25 часов практики

Что такое DevOps / MLOps

Docker и микросервисная архитектура

Технологии контейнеризации, k8s

Оркестраторы

CI/CD

Мониторинг

Инструменты DevOps для обучения ML-моделей

Deploy ML-моделей

Английский для специалистов по работе с данными

Бонусный модуль

Научитесь разбираться в аналитических терминах и читать иностранную техническую документацию. Сможете презентовать результаты анализа с помощью графиков и диаграмм на английском языке. Узнаете, как эффективно готовиться к собеседованиям в зарубежные компании. Научитесь составлять убедительное резюме и писать сопроводительное письмо.

7 часов теории

7 часов практики

Словарь терминов аналитика с примерами употребления и типичными словосочетаниями

Важная лексика для работы с датасетами

Презентация результатов анализа

Чтение технической документации

Самопрезентация. Elevator Pitch

Прохождение собеседований

Резюме и сопроводительное письмо (CV & сover letter)

Email-переписка

Общение в технических чатах

Как вести звонки и встречи

Как учить лексику

Как учить грамматику

Карьерное планирование

Научитесь составлять резюме для новой профессии, писать сопроводительные письма и уверенно проходить собеседования.

Создание резюме: как поменять сферу, используя опыт предыдущих компаний

Отработка навыков написания резюме

Карьерное консультирование

Дипломный проект

Под руководством ментора вы обработаете данные, сформируете нормализованную схему данных, опишите ETL-процессы для заливки данных и создания витрин. Сформируйте набор метрик и дашбордов на их основе.

40 часов практики

Если вы уже прошли курс, входящий в профессию, учитесь дальше со скидкой в размере стоимости курса. При расчёте скидки учитываются фактически пройденные занятия.

Как проходит обучение

Теория

Мы подготовили гибкие форматы обучения: видеолекции, статьи, вебинары

Практика

Вас ждут домашние и итоговые работы после модулей, а также дипломный проект

Сопровождение

Кураторы, аспиранты и эксперты программы всегда на связи в закрытом канале студентов курса. В рамках работы над дипломом предусмотрены 4 персональные консультации

Трудоустройство

Центр развития карьеры поможет составить резюме, подготовит к собеседованию, предложит вакансии и будет сопровождать на всех этапах поиска работы

Все уроки теперь и в мобильном приложении

Мы разработали платформу для смартфонов, чтобы вы могли учиться в спортзале, самолёте, на даче или в пути.

Учитесь, где нравится
Доступ к учебным материалам всегда под рукой: это экономит ваши ресурсы
Занимайтесь даже без интернета
Можно скачать материалы на телефон и учиться даже там, где плохая связь
Получайте подсказки по дедлайнам
Приложение работает как помощник: напомнит про домашнюю работу или вебинар
Загружайте задания с телефона
Удобно отслеживать статус практических работ и отвечать на комментарии преподавателя

Вам будут преподавать практикующие эксперты

Мы регулярно проводим внутренние митапы

Это неформальные встречи выпускников и студентов Нетологии с экспертами и потенциальными работодателями

Каждый участник может задать экспертам вопросы, получить ответы или поделиться собственной историей. Митапы проходят раз в две недели по вечерам.

Что вы получите в результате обучения

Дата-инженер

Ключевые навыки

Определение потребностей и требований бизнес-пользователей

Управление потоками данных

Организация работы с большими данными

Создание витрин данных

Построение конвейеров обработки данных

Работа с data lakes в облаках

Настройка окружения и проведение обучения ML-моделей

Инструменты

PostgreSQL

Свободная объектно-реляционная система управления базами данных.

Pentaho

Программное обеспечение для бизнес-анализа.

Docker

Популярная программа для автоматизации, развёртывания и управления приложениями в средах с поддержкой контейнеризации.

Apache Spark

Фреймворк с открытым исходным кодом для реализации распределённой обработки неструктурированных и слабоструктурированных данных, входящий в экосистему проектов Hadoop.

Apache Airflow

Платформа управления рабочим процессом с открытым исходным кодом.

Ansible

Автоматизация настройки и развёртывания программного обеспечения

Python

Высокоуровневый язык программирования общего назначения, ориентированный на повышение производительности разработчика и читаемости кода.

Apache Kafka

Распределённый программный брокер сообщений, проект с открытым исходным кодом, разрабатываемый в рамках фонда Apache.

ClickHouse

Колоночная аналитическая СУБД с открытым кодом, позволяющая выполнять аналитические запросы в режиме реального времени на структурированных больших данных.

Yandex Cloud

Универсальная облачная платформа

Kubernetes

Открытое программное обеспечение для автоматизации развёртывания, масштабирования контейнеризированных приложений и управления ими.

Prometheus

Приложение для мониторинга событий и оповещения.

Диплом подтвердит вашу квалификацию

Мы обучаем по государственной лицензии и выдаём диплом о профессиональной переподготовке, который можно показать работодателю

Поможем найти
ту самую работу

Центр развития карьеры
помогает трудоустроиться студентам Нетологии

1

Научим составлять резюме и проходить интервью

Разберём ваш предыдущий опыт, определим сильные стороны и поможем составить успешное резюме. Научим презентовать себя и проведём тест-драйв интервью.

2

Поможем наработать практику и оформить портфолио

Приобретёте практический опыт и наполните портфолио ещё во время обучения. Разберёте тестовые задания от работодателей и сможете принять участие в их проектах.

3

Предложим стажировки и проекты от партнёров

Предоставим доступ к карьерной странице со стажировками и вакансиями от партнёров Нетологии. Будем делиться подборками с новыми интересными вакансиями.

Воркшопы и много практики

Вы сможете сформировать портфолио, выполняя задания компаний-партнёров Нетологии или проходя у них стажировки. Сфокусируетесь на практике, откликах и результате. Поработаете над реальными заданиями, защитите свои решения и получите развивающую обратную связь.

84%

студентов нашли работу с помощью Центра развития карьеры

4 075

компаний-партнёров в базе Нетологии для отработки практики

Предложение для компаний

Вы можете обучить сотрудников на этом курсе. Адаптируем программу под ваш бизнес и предоставим отчёты об успеваемости. При обучении сразу нескольких сотрудников — более выгодная стоимость.

Оставьте заявку, и мы вышлем вам индивидуальное предложение.

Вернём деньги, если обучение не подойдёт

Деньги можно вернуть в любой момент. В течение первых трёх занятий вернём вам полную сумму, а начиная с четвёртого — рассчитаем сумму возврата или поможем выбрать другой курс взамен.

Подробные условия

40%

с 23.09 по 25.09

Пока за окном холодает

Скидка уже включена в стоимость. Оплатите до 25 сентября, чтобы скидка не сгорела.

Условия акции

16 месяцев обучения

Запишитесь или получите консультацию

Частями без переплат

6 125 ₽/месяц

10 208 ₽ на 24 месяца

Одним платежом

со скидкой 5%

139 700

₽

245 000 ₽

-40%

акция действует до 25 сентября

Запишитесь или получите консультацию

Нашли дешевле? Сделаем скидку

Вернём деньги, если обучение не подойдёт

Возможность получить налоговый вычет — 13%

По всем вопросам 8 (800) 301-39-69 по будням с 10 до 19 по МСК. Бесплатно по России

16 месяцев обучения

Дата-инженер с нуля до middle

Частями без переплат

6 125 ₽/месяц

10 208 ₽ на 24 месяца

Одним платежом

со скидкой 5%

139 700

₽

245 000 ₽

-40%

акция действует до 25 сентября

Нашли дешевле? Сделаем скидку

Вернём деньги, если обучение не подойдёт

Возможность получить налоговый вычет — 13%

По всем вопросам 8 (800) 301-39-69 по будням с 10 до 19 по МСК. Бесплатно по России

Запишитесь или получите консультацию

Отвечаем на вопросы

Как проходит обучение?

Кто будет проверять мои домашние задания?

Как вы помогаете найти работу после обучения?

Дата-инженер с нуля до middle

Зарплата дата-инженера

Чему вы научитесь

Выполните 6 масштабных проектов для портфолио

Программа обучения — 16 месяцев

Как проходит обучение

Вам будут преподавать практикующие эксперты

Мы регулярно проводим внутренние митапы

Что вы получите в результате обучения

Отвечаем на вопросы

Программа обучения —
16 месяцев