Длительность
16 месяцев
Формат обучения
Вебинары, видеолекции, практика
Документ
Диплом о профессиональной переподготовке
Во время осенних дождей
Скидка уже включена в стоимость. Оплатите до 22 сентября, чтобы скидка не сгорела.
Длительность
16 месяцев
Формат обучения
Вебинары, видеолекции, практика
Документ
Диплом о профессиональной переподготовке
Во время осенних дождей
Скидка уже включена в стоимость. Оплатите до 22 сентября, чтобы скидка не сгорела.
Инженер данных работает в команде и создаёт ценность для бизнеса, взаимодействуя с разными участниками — от разработчиков до бизнес‑пользователей отчётности.
Он выстраивает пайплайны для обработки и трансформации данных, чтобы коллеги работали уже с очищенными и подготовленными данными.
По данным вакансий на hh.ru
Junior-специалист
Опыт до 1 года
Middle-специалист
Опыт 1–3 года
Senior-специалист
Опыт более 3 лет
Объяснять архитектуру и структуру базы данных
Проектировать схемы хранилищ и выбирать DWH под задачу и бюджет бизнеса среди популярных решений
Создавать процессы обработки данных
Настраивать и конфигурировать ETL / ELT-процессы в нескольких дата-инструментах
Писать приложение
на Kafka Streams DSL
Настроите приложение, в котором алерт-сообщения будут отправляться при заданных условиях
Использовать в работе Spark SQL
На практике получите навык работы с DataFrame API
Применять навык data literacy
Сможете понимать, пояснять и обогащать данные отчётов
Презентовать важные для бизнеса данные
Агрегировать информацию в многомерные структуры данных и на их основе формировать отчёты
Партнёр курса — Yandex Cloud
Yandex Cloud — облачная платформа, где каждый может создавать и совершенствовать свои цифровые сервисы, используя инфраструктуру и уникальные технологии Яндекса.
Студенты Нетологии получат возможность бесплатно использовать мощности платформы Yandex Cloud в течение всего периода обучения.
Программа разработана совместно с ПРОФИ
В Профи раскладывают и визуализируют данные так, чтобы аналитики могли строить дашборды, а бизнес — делать выводы и принимать решения на их основе.
В сервисе синхронизированы две СУБД: ClickHouse и Vertica. Команда также развивает аналитику в реальном времени, платформу A/B-тестирования, визуализацию данных в Tableau и Metabase.
Направление Нетологии «Аналитика и Data Science» — обладатель «Премии Рунета» в номинации «Образование и кадры» в 2019 году
236 часов теории и 323 часа практики
● Вебинары с экспертами в прямом эфире проходят 1-2 раза в неделю, начинаются в промежутке с 18:00 до 20:00 МСК
● На лекции и практические задания понадобится 12-15 часов в неделю
● Записи вебинаров, видеолекции, презентации, тесты и другие полезные материалы хранятся в личном кабинете
SQL и получение данных
Итоговая работа — разработка SQL-запросов
Научитесь с помощью SQL получать данные из БД, а также фильтровать, агрегировать, импортировать и экспортировать их.
20 часов теории
32 часа практики
Введение в SQL. Установка и знакомство
SQL PRO
Научитесь поднимать, настраивать кластеры, масштабировать данные, писать хранимые процедуры и триггеры, понимать структуры данных, как они нормализуются и денормализуются. Погрузитесь в специфику проектирования баз данных и интеграцию с другими приложениями.
14 часов теории
28 часов практики
Проектирование DWH
Итоговая работа — проектирование DWH
Познакомитесь с видами хранилищ, поймёте архитектуру DWH и его возможности. На практическом кейсе разберёте популярные инструменты работы с DWH.
17 часов теории
32 часа практики
Понятие БД, СУБД, хранилища данных
Tableau для визуализации данных
Итоговая работа — интерактивный дашборд
Познакомитесь с интерфейсом программы. Научитесь загружать данные и работать с основными инструментами. Освоите создание дашбордов.
33 часа теории
31 час практики
Знакомство с инфраструктурой Tableau. Загрузка данных. Первый дашборд
Основные виды визуализаций. Лучшие практики визуализации
Основы работы с расчётными полями, фильтрами, множествами и группировками
Разбор сложных аспектов изученного материала
Разработка дашбордов
Настройка взаимодействия между визуализациями
Python для анализа данных
Научитесь пользоваться базовыми инструментами и подходами в Python, чтобы начать работать с данными. Научитесь получать и очищать данные, находить связи и проверять гипотезы. Сможете работать с главными аналитическими библиотеками.
50 часов теории
39 часов практики
Управляющие конструкции и коллекции
Data Lake & Hadoop
Познакомитесь с основным инструментом обработки больших данных. Разберётесь в возможностях управления ресурсами кластера.
14 часов теории
15 часов практики
Основы Hadoop: архитектура
Data Lake vs Data Warehouse
HDFS: логика работы, Namenode и Datanode
MapReduce: алгоритм и решение задач
Yarn, Pig & Hive
HBase & Cassandra: возможности и основные характеристики
Управление и администрирование кластера
Обзор Apache Ambari, Apache Ranger, Apache Atlas
Продвинутые методы работы с данными
Изучите способы обработки разных видов данных. Узнаете, что такое оркестратор и какие задачи он решает. Поймёте, как эффективно преобразовывать данные в хранилищах.
16 часов теории
12 часов практики
Apache Spark: основные команды и RDD
Организация ETL-процессов с помощью Apache NiFi
Работа с потоковыми данными
Поймёте особенности работы с потоковыми данными. Разберётесь в логике работы брокеров сообщений.
12 часов теории
9 часов практики
Устройство Clickhouse и загрузка данных в корпоративное хранилище
Устройство Kafka и работа с кластером
Конфигурация Kafka Streams
Kafka Streams Interactive Queries, Kafka Streams Processor API, Kafka Connect
Spark Streaming: характеристики и особенности использования
Создание простого приложения на Spark Structure Streaming + Kafka
Работа с данными в облаке
Итоговая работа — построение пайплайна в облачной среде
Познакомитесь с основными облачными провайдерами. Поймёте преимущества использования облачного хранилища. Выполните практические упражнения в облачной среде Yandex Cloud.
11 часов теории
19 часов практики
Построение пайплайна в облачной среде
Работа с виртуальными машинами
Хранение и анализ данных в облаке
Прогнозирование затрат и оптимизация расходов
Обеспечение безопасности в облаке
DevOps и автоматизация
Введение в DS & ML
Познакомитесь с основными задачами машинного обучения. Научитесь работать с очисткой данных. Поймёте, как при помощи обученных моделей решать задачи.
38 часов теории
33 часа практики
Регрессионный анализ. Линейная, полиномиальная и логарифмическая регрессия
MLOps
Итоговая работа — настройка окружения и обучение модели
Узнаете, зачем нужен DevOps. Разберётесь в пайплайне разработки ML-моделей.
8 часов теории
25 часов практики
Что такое DevOps / MLOps
Docker и микросервисная архитектура
Технологии контейнеризации, k8s
Оркестраторы
CI/CD
Мониторинг
Инструменты DevOps для обучения ML-моделей
Deploy ML-моделей
Английский для специалистов по работе с данными
Бонусный модуль
Научитесь разбираться в аналитических терминах и читать иностранную техническую документацию. Сможете презентовать результаты анализа с помощью графиков и диаграмм на английском языке. Узнаете, как эффективно готовиться к собеседованиям в зарубежные компании. Научитесь составлять убедительное резюме и писать сопроводительное письмо.
7 часов теории
Словарь терминов аналитика с примерами употребления и типичными словосочетаниями
Как учить грамматику
Карьерное планирование
Научитесь составлять резюме для новой профессии, писать сопроводительные письма и уверенно проходить собеседования.
Дипломный проект
Под руководством ментора вы обработаете данные, сформируете нормализованную схему данных, опишите ETL-процессы для заливки данных и создания витрин. Сформируйте набор метрик и дашбордов на их основе.
40 часов практики
Если вы уже прошли курс, входящий в профессию, учитесь дальше со скидкой в размере стоимости курса. При расчёте скидки учитываются фактически пройденные занятия.
Теория
Мы подготовили гибкие форматы обучения: видеолекции, статьи, вебинары
Практика
Вас ждут домашние и итоговые работы после модулей, а также дипломный проект
Сопровождение
Кураторы, аспиранты и эксперты программы всегда на связи в закрытом канале студентов курса. В рамках работы над дипломом предусмотрены 4 персональные консультации
Трудоустройство
Центр развития карьеры поможет составить резюме, подготовит к собеседованию, предложит вакансии и будет сопровождать на всех этапах поиска работы
Все уроки теперь и в мобильном приложении
Мы разработали платформу для смартфонов, чтобы вы могли учиться в спортзале, самолёте, на даче или в пути.
Учитесь, где нравится
Доступ к учебным материалам всегда под рукой: это экономит ваши ресурсы
Занимайтесь даже без интернета
Можно скачать материалы на телефон и учиться даже там, где плохая связь
Получайте подсказки по дедлайнам
Приложение работает как помощник: напомнит про домашнюю работу или вебинар
Загружайте задания с телефона
Удобно отслеживать статус практических работ и отвечать на комментарии преподавателя
Каждый участник может задать экспертам вопросы, получить ответы или поделиться собственной историей. Митапы проходят раз в две недели по вечерам.
Дата-инженер
Ключевые навыки
Определение потребностей и требований бизнес-пользователей
Управление потоками данных
Инструменты
PostgreSQL
PostgreSQL
Свободная объектно-реляционная система управления базами данных.
Pentaho
Pentaho
Программное обеспечение для бизнес-анализа.
Docker
Docker
Популярная программа для автоматизации, развёртывания и управления приложениями в средах с поддержкой контейнеризации.
Apache Spark
Apache Spark
Фреймворк с открытым исходным кодом для реализации распределённой обработки неструктурированных и слабоструктурированных данных, входящий в экосистему проектов Hadoop.
Apache Airflow
Apache Airflow
Платформа управления рабочим процессом с открытым исходным кодом.
Ansible
Ansible
Автоматизация настройки и развёртывания программного обеспечения
Python
Python
Высокоуровневый язык программирования общего назначения, ориентированный на повышение производительности разработчика и читаемости кода.
Apache Kafka
Apache Kafka
Распределённый программный брокер сообщений, проект с открытым исходным кодом, разрабатываемый в рамках фонда Apache.
ClickHouse
ClickHouse
Колоночная аналитическая СУБД с открытым кодом, позволяющая выполнять аналитические запросы в режиме реального времени на структурированных больших данных.
Yandex Cloud
Yandex Cloud
Универсальная облачная платформа
Kubernetes
Kubernetes
Открытое программное обеспечение для автоматизации развёртывания, масштабирования контейнеризированных приложений и управления ими.
Prometheus
Prometheus
Приложение для мониторинга событий и оповещения.
Диплом подтвердит вашу квалификацию
Мы обучаем по государственной лицензии и выдаём диплом о профессиональной переподготовке, который можно показать работодателю
Предложение для компаний
Вы можете обучить сотрудников на этом курсе. Адаптируем программу под ваш бизнес и предоставим отчёты об успеваемости. При обучении сразу нескольких сотрудников — более выгодная стоимость.
Оставьте заявку, и мы вышлем вам индивидуальное предложение.
Вернём деньги, если обучение не подойдёт
Деньги можно вернуть в любой момент. В течение первых трёх занятий вернём вам полную сумму, а начиная с четвёртого — рассчитаем сумму возврата или поможем выбрать другой курс взамен.
Во время осенних дождей
Скидка уже включена в стоимость. Оплатите до 22 сентября, чтобы скидка не сгорела.
Как проходит обучение?
Кто будет проверять мои домашние задания?
Как вы помогаете найти работу после обучения?