Фоновое изображение
Профессия

Дата-инженер с нуля до PRO

Научим автоматизировать работу с данными, настраивать мониторинги, создавать конвейеры обработки и схемы хранения данных

Сможете претендовать на позицию инженера данных, ETL-эксперта или MLOps уровня миддл+

Когда
13 августа 2020 — 21 августа 2021

ФОРМАТ ОБУЧЕНИЯ

Онлайн

Акция

Первый платёж через полгода

ДОКУМЕНТ

Диплом о профессиональной переподготовке

25%
с 10.08 по 16.08

Солнечные скидки - вложите лето в будущее!

Скидка уже включена в стоимость. Оплатите до 16 августа включительно, иначе скидка сгорит!

Условия акции

Обучение на курсе поможет вам

Перейти в профессию с высоким окладом на низкоконкурентном рынке

Окажетесь одним из первых в профессии, пока все учатся на data scientists

Освоить ключевые технологии и опередить запрос рынка

Станете востребованным специалистом сразу после обучения и не растеряете накопленные знания и навыки

Прожить опыт 2-3 лет самостоятельного изучения инжиниринга данных

Получите знания в концентрированном формате и с обратной связью от экспертов

А ещё вы получите

Больше 10 кейсов в портфолио

Выполните 80 домашних работ с фидбеком эксперта, а также онлайн-лабораторные и тесты

Доступ в профессиональные сообщества

И возможность заявить о себе — они в России только развиваются

Помощь в трудоустройстве

Поможем составить резюме, подготовиться к собеседованию, проконсультируем по релокации

Факультет Нетологии «Аналитика и Data Science» — обладатель «Премии Рунета» в номинации «Образование и кадры» в 2019 году

Чем занимается data engineer

Объясняют практикующие специалисты

Глеб Сологуб, экс-директор аналитики Skyeng

Инженер данных оптимизирует пайплайны и схемы хранения данных, настраивает всевозможные мониторинги, отлавливает и исправляет неоптимальные запросы и помогает команде аналитики делать свою работу продуктивно.

Изучать современные подходы стоит для того, чтобы находить оптимальное решение задач бизнеса: не просто нажать пару кнопок и добавить несколько узлов в облачном кластере — а с оглядкой на эффективность использования ресурсов и стоимость решения задачи.

Рон Бодкин, генеральный директор Think Big Analytic

Слишком часто люди обращаются к Data Scientist и игнорируют тот факт, что для успешной работы с данными необходима эффективная платформа. Главный навык инженеров данных – создавать условия для хранения и организации полезных данных.

Кому будет полезен этот курс

  • Системным и сетевым администраторам

    Сможете масштабировать инфраструктуру, выбирать из множества разных специфических инструментов, внедрять в продакшн решения коллег.

    1
  • Backend или Fullstack-разработчикам

    Сможете вырасти в деньгах и получить интересные задачи. Станете незаменимым сотрудником, погрузитесь в ключевой продукт и его метрики.

    2
  • Новичкам, желающим войти в сферу Data Science

    Сможете влиться в новую сферу и приобрести базу, с которой можно постоянно развиваться — в любых компаниях и продуктах.

    3
  • 4

Если будет сложно, пройдите бесплатно подготовительные модули

Если какой-то из модулей программы вы уже знаете, пройдите тест и получите скидку, — или замените этот модуль на курс по машинному или глубокому обучению.

Чему вы научитесь

Объяснять архитектуру и структуру базы данных

Проектировать схемы хранилищ и выбирать DWH под задачу и бюджет бизнеса среди популярных решений: Snowflake, BigQuery, Azure SQL DW, Redshift

Создавать процессы обработки данных

Настраивать и конфигурировать ETL / ELT-процессы в нескольких дата-инструментах

Работать с основными инструментами обработки больших данных

Lambda architecture, kappa architecture, а также hdfs, yarn, hive и другими обязательными частями инфраструктуры

Обрабатывать события в режиме реального времени

Построите свой конвейер обработки даннных, сборщик событий, RTDM-систему с выводом в массовые enterprise BI-решения

Разовьёте навык data literacy

Сможете понимать, пояснять и обогащать данные отчётов, дашбордов и других источников информации

Строить работающий пайплайн в облачной среде

И включать в него модели машинного обучения, нейронные сети, сервисы оркестрирования контейнеров и проверку версионности

Структура программы

Курс состоит из трёх больших модулей

Часть 1. Хороший аналитик (I’m too young to die)

Программа построена от простого к сложному. В первом модуле вы научитесь пользоваться запросами SQL и работать с классическим хранилищем данных. Узнаете, как спроектировать аналитическую базу данных для ваших нужд, создадите свой первый OLAP-куб и научитесь выбирать и подключать Business Intelligence решения (BIC).

Работа студентки Анастасии Орел, ETL-пайплайн: посмотреть на GitHub.

Часть 2. Data Engineer (Hurt me plenty)

Получите базовые навыки по работе с Python. Установите и запустите свой первый hadoop. Создадите витрины данных. Освоите продвинутые методы работы с данными. Выполните обработку данных при помощи Spark. Построите конвейер обработки данных. Научитесь работать с базами данных для хранения и обработки потоковых данных. Создадите облачную базу данных и запустите Pipeline в облаке.

Работа студента Владимира Герингера после прохождения модуля по Python: посмотреть на GitHub.

Часть 3. ML-engineer (Ultra-Violence)

В этом модуле вы познакомитесь с моделями машинного обучения, построите свой первый классификатор и регрессию и обучите нейронную сеть. Узнаете, что такое CI/CD, запустите свой первый сервис в кластере и изучите подходы к масштабируемости ML-модели.

Программа курса

SQL и получение данных

Основы баз данных

Работа с базами данных

Основы SQL

Углубление в SQL

Работа с PostgreSQL

Работа с MongoDB

Навыки, которые вы получите

Сможете объяснить архитектуру и структуру базы данных в общем виде

Научитесь писать простые SQL запросы для получения данных из БД

Научитесь писать джоины для создания новых таблиц

Научитесь группировать и фильтровать данные из БД

Научитесь импортировать и экспортировать данные в БД

Научитесь использовать аналитические функции SQL для изучения характеристики данных

Научитесь использовать базу данных PostgreSQL для хранения данных

Сможете подключаться к БД из Python

Научитесь работать с разными форматами файлов

Data Warehouse

Научим работать с классическим хранилищем данных.

Научим работать с классическим хранилищем данных.

Введение в хранилища данных

Проектирование хранилища данных

Знакомство с Pentaho

Pentaho как инструмент ETL

ETL-pro

Общие рекомендации по разработки ETL

Смежные темы

DWH в облаке

Навыки, которые вы получите

Научитесь организовывать работу с традиционными хранилищами данных

Узнаете, как правильно спроектировать аналитическую БД для ваших нужд

Научитесь настраивать и конфигурировать ETL / ELT-процессы

Выполните заливку данных в нескольких популярных форматах

Познакомитесь с концепцией современного аналитического решения

Поймёте плюсы и минусы Snowflake, BigQuery, Azure SQL DW, Redshift и прочих

Поймёте, когда переводить процессы с разрозненных Excel на БД

Business Intelligence решения и многомерная модель данных

BI как сердце аналитики

Знакомство с Pentaho BI

Многомерные модели

Pentaho Analysis Services

Real-time отчётность

Современные подходы

Навыки, которые вы получите

Научитесь определять потребности и требования бизнес-пользователей

Научитесь выбирать решения, архитектуры и стратегии масштабирования, удовлетворяющие рост бизнеса

Познакомитесь с Tableau и Power BI как самыми популярными энтерпрайз-решениями

Подключитесь к созданному ранее хранилищу данных

Выполните передачу данных в шаблонный dashboard

Научитесь выводить real-time отчетность и построите простую RTDM-систему

Python

Основы Python

Введение в анализ данных на Python

Статистика в Python

Предобработка данных

Feature Selection

Data Lake & Hadoop

Познакомим с основным инструментом обработки больших данных.

Познакомим с основным инструментом обработки больших данных.

Основы Hadoop

HDFS

MapReduce

MapReduce 2

Yarn

Pig & Hive

HBase & Cassandra

Кластер. Управление и администрирование

Навыки, которые вы получите

Узнаете про основные архитектуры организации работы с большими данными — Lambda Architecture, Kappa Architecture

Установите и запустите свой первый Hadoop на основе бесплатного дистрибутива

Научитесь работать с HDFS, Yarn, Hive и другими обязательными частями инфраструктуры

Загрузите данные в Hadoop из своего хранилища данных

Создадите свои первые витрины данных

Поймёте разницу между DW и BigData

Продвинутые методы работы с данными

Apache Spark

Работа со Spark

Spark SQL

Продвинутый Spark

Airflow

Работа с Airflow

Продвинутый Airflow

Dbt как инструмент ETL

Навыки, которые вы получите

Узнаете, какие возможности дают продвинутые средства работы с данными

Познакомитесь с Core Spark и Spark SQL

Выполните обработку данных при помощи Spark

Узнаете, какие возможности открывает airflow для обработки данных

Построите свой конвеер обработки даннных

Научитесь использовать Spark из Airflow конвееров

Работа с потоковыми данными

Научим работать с потоковыми данными.

Научим работать с потоковыми данными.

ClickHouse

Kafka

Kafka Streams

Kafka Streams 2

Spark Streaming

Spark Streaming 2

Навыки, которые вы получите

Познакомитесь со специальными базами данных для хранения и обработки потоковых данных

Установите и запустите Yandex ClickHouse

Познакомитесь с Apache Kafka и узнаете, как применять её для обработки потоковых данных

Построите свой первый сборщик событий

Разберётесь со Spark Streaming и научитесь применять его для построения RTDM-систем

Работа с данными в облаке

Google Cloud Platform — хранение данных

Spark в GCP

Managed ETL в GCP

Обработка real-time данных в GCP

Поиск инсайтов в данных при помощи ML

Другие облачные провайдеры

Навыки, которые вы получите

Познакомитесь с основными облачными провайдерами для работы с данными

Создадите облачную базу данных и запустите свой первый Pipeline в облаке

Узнаете, как работать с Data Lakes в облаках и научитесь использовать Spark для обработки данных в них

Введение в DS & ML

Введение в машинное обучение

Задача классификации

Задача кластеризации

Ансамблевые методы решения задачи классификации

Feature engineering

Нейронные сети

Навыки, которые вы получите

Познакомитесь с моделями машинного обучения

Узнаете, какие задачи можно решать с их помощью

Построите свои первые классификатор и регрессию

Обучите нейронную сеть

MLOps

Зачем нужен DevOps

Docker и микросервисная архитектура

K8S

Орекстраторы

CI/CD

Мониторинг

Инструменты DevOps для обучения ML-моделей

Deploy ML-моделей

Название занятия
Навыки, которые вы получите

Узнаете, что такое CI/CD

Познакомитесь с Docker, K8S

Запустите свой первый сервис в кластере

Узнаете о контроле версий и работе с Git, DVC и MLFlow

Познакомитесь с подходами к масштабируемости ML-модели

Узнаете о тестировании и продакшене

Изучите перспективы использования готовых решений

Зарегистрируйтесь на курс для получения полной программы обучения и консультации по траектории развития

Как проходит обучение

Не будем долго разжёвывать теорию — покажем сразу на примерах

  • Занятия

    Учитесь в своем темпе. Мы подготовили гибкие форматы обучения: видеолекции, статьи, вебинары, индивидуальные и групповые задания.

    1
  • Практика

    Вас ждут домашние, лабораторные и финальные работы после модулей, а также дипломный проект. Если покажется мало — дадим индивидуальные задания.

    2
  • Сопровождение

    Кураторы, аспиранты и эксперты программы всегда на связи в закрытом студенческом канале курса. Также предусмотрены 4 персональные консультации с ментором.

    3
  • Дипломная работа

    Пройдёте все этапы: от проектирования модели данных до реализации пайплайна в облачной среде и упаковки в него искусcтвенного интеллекта.

    4

Преподают практикующие эксперты

Преподаватель 

Алексей Кузьмин

Технический директор и data scientist в ДомКлик.ру. В ABBYY занимался распознаванием языков со сложной письменностью

Руководит направлением машинного обучения и работы с данными

Я объясняю, как работает тот или иной метод. Это снимает «иллюзию магии» и позволяет понять, что стоит за каждым из инструментов. Такой подход позволяет выбрать верный инструмент из множества и корректно оценить его качество.

Разумеется, сразу после обучения вы не станете экспертом в области, однако заложите фундамент, который позволит развиваться, а также найти работу мечты или получить повышение на текущем месте.

Я объясняю, как работает тот или иной метод. Это снимает «иллюзию магии» и позволяет понять, что стоит за каждым из инструментов. Такой подход позволяет выбрать верный инструмент из множества и корректно оценить его качество.

Разумеется, сразу после обучения вы не станете экспертом в области, однако заложите фундамент, который позволит развиваться, а также найти работу мечты или получить повышение на текущем месте.

Это годовая программа для глубокого погружения

Если вам нужно приобрести начальные знания в максимально короткие сроки, обратите внимание на курс «ETL: пайплайны, хранилища данных и BI-решения».

Не уверены, какой курс выбрать? Оставьте заявку, и мы подберём вам подходящую программу. 

Что вы получите в результате обучения

Дата-инженер

Ключевые навыки

Определение потребностей и требований бизнес-пользователей разных уровней

Работа с Tableau / Power BI как самыми популярными энтерпрайз-решениями для отчётности

Управление потоками данных любого размера

Выбор способа организации работы с большими данными — lambda architecture, kappa architecture и прочие

Создание витрин данных

Построение конвейеров обработки данных

Работа с data lakes в облаках и использование spark для обработки данных в них

Знание подходов к масштабируемости ML-моделей

Инструменты, которые вы освоите

PostgreSQL

Свободная объектно-реляционная система управления базами данных.

Вашу квалификацию подтвердят документы установленного образца

Развитие карьеры

Каждый выпускник получает помощь

и поддержку Центра развития карьеры

Помощь в подготовке резюме и прохождении собеседования
Консультация с HR-специалистом по поиску работы и развитию вашей карьеры
Возможность прохождения стажировки в проектах Нетологии-групп: Фоксфорд, Нетология, EdMarket
Регулярное информирование об открытых вакансиях в компаниях-партнерах
Бесплатный доступ к подборке видеокурсов по поиску работы и soft skills для всех студентов
Мы трудоустроили своих выпускников в компании

Учитесь сейчас — платите потом: первый платёж через полгода

  • Беспроцентный кредит от банка-партнёра

    Кредит предоставляет Тинькофф Банк. Платёж поделят на части — и вы ничего не переплатите

    1
  • Первая оплата — через 6 месяцев

    Мы берём на себя заботы об отсрочке оплаты, чтобы вы могли сразу сделать шаг к переменам

    2
  • Ежемесячный платёж — 5 778 ₽

    Срок кредита — 24 месяца. За это время вы получите диплом и сможете работать в новой профессии

    3
  • Полный доступ к программе курса

    Вы будете проходить все лекции, выполнять задания и получать обратную связь. Никаких ограничений

    4

Предложение действует до 31 июля

Оставьте свои контакты — и наш менеджер расскажет подробнее об условиях акции

25%
с 10.08 по 16.08

Солнечные скидки - вложите лето в будущее!

Скидка уже включена в стоимость. Оплатите до 16 августа включительно, иначе скидка сгорит!

Условия акции

Запишитесь на курс прямо сейчас

При оплате частями
от6 000 ₽ / мес.
Одним платежом
144 000 ₽
160 000 ₽
До 12 августа скидка 16 000 ₽
У меня есть промокод
Сэкономьте еще 13%
Вы можете вернуть 13% денег через налоговый вычет. Спросите об этом менеджера, когда запишетесь на курс, или прочитайте в этой статье
Нажимая кнопку, принимаю условия политики и пользовательского соглашения
Уже есть аккаунт? Войти
Как учиться сейчас, а платить потом?
На этот курс действует акция: первый платеж через 6 месяцев. Уточните подробности у нашего менеджера. Срок действия акции до 31 июля.
Как оплатить частями?
Мы предоставляем беспроцентный кредит от Сбербанка или Тинькофф. Вы разделите платеж и ничего не переплатите
Как оплатить от юрлица?
Запишитесь на курс от имени того, кто будет учиться, а затем выберите способ оплаты «По счету от юрлица»
Есть еще вопросы?
Звоните нам — 8 (800) 301-39-69
Пользуясь нашим сайтом, вы соглашаетесь с тем, что мы используем cookies