Вместе с Еленой Герасимовой, руководителем факультета «Аналитика и Data Science» в Нетологии, продолжаем разбираться, как взаимодействуют между собой и чем различаются Data Scientist и Data Engineer.
Что должны знать Data Scientist и Data Engineer
Профильное образование для обоих специалистов — Computer Science.
Любой специалист по данным — дата-сайентист или аналитик — должен уметь доказывать корректность своих выводов. Для этого не обойтись без знания статистики и связанной со статистикой базовой математики.
Для инженера данных на первый план выходят три направления.
- анализ сложности алгоритмов,
- умение писать понятный поддерживаемый код,
- пакетная обработка,
- обработка в реальном времени.
Базы и хранилища данных, Business Intelligence:
- хранение и обработка данных,
- проектирование целостных систем,
- Data Ingestion,
- распределенные файловые системы.
Hadoop и Big Data. Данных становится всё больше, и на горизонте 3‒5 лет эти технологии станут необходимы каждому инженеру. Плюс:
- Data Lakes,
- работа с облачными провайдерами.
Машинное обучение будет использоваться повсеместно, и важно понимать, какие бизнес-задачи оно поможет решить. Не обязательно уметь делать модели (с этим справятся дата-сайентисты), но нужно разбираться в их применении и соответствующим требованиям.
Профессия- Освоите профессию с высоким окладом на низкоконкурентном рынке
- Научитесь автоматизировать работу с данными, настраивать мониторинги, создавать конвейеры обработки и схемы хранения данных
- Получите знания, равноценные опыту 2‒3 лет самостоятельного изучения инжиниринга данных
Сколько получают дата-инженеры и дата-сайентисты
Доход инженеров по обработке данных
В международной практике начальная зарплата обычно составляет $100 000 в год и значительно увеличивается с опытом, по данным Glassdoor. Кроме того, компании часто предоставляют опционы на акции и 5‒15% годовых бонусов.
В России в начале карьеры зарплата обычно не меньше 50 тыс. рублей в регионах и 80 тыс. в Москве. На этом этапе не требуется опыт, кроме пройденного обучения.
Через 1‒2 года работы — вилка 90‒100 тыс. рублей.
Вилка увеличивается до 120‒160 тыс. через 2‒5 лет. Добавляются такие факторы, как специализация прошлых компаний, размер проектов, работа с big data и прочее.
После 5 лет работы легче искать вакансии в смежных отделах или откликаться на такие узкоспециализированные позиции, как:
- Архитектор или ведущий разработчик в банке или телеком — около 250 тыс.
- Pre-Sales у вендора, с технологиями которого вы работали плотнее всего, — 200 тыс. плюс возможен бонус (1‒1,5 млн рублей).
- Эксперты по внедрению Enterprise business application, таких как SAP, — до 350 тыс. рублей.
Доход дата-сайентистов
Исследование рынка аналитиков компании «Нормальные исследования» и рекрутингового агентства New.HR показывает, что специалисты по Data Science получают в среднем большую зарплату, чем аналитики других специальностей.
В России начальная зарплата дата-сайентиста с опытом работы до года — от 113 тыс. рублей.
В качестве опыта работы сейчас также учитывается прохождение обучающих программ.
Через 1‒2 года такой специалист уже может получать до 160 тыс. рублей.
Как проходят собеседования
На западе выпускники программ профессионального обучения проходят первое собеседование в среднем через 5 недель после окончания обучения. Около 85% находят работу через 3 месяца.
Процесс прохождения собеседований на вакансии инженера данных и дата-сайентиста практически не различается. Обычно состоит из пяти этапов.
Резюме
Кандидатам с непрофильным предыдущим опытом (например, из маркетинга) необходимо для каждой компании подготовить подробное сопроводительное письмо или иметь рекомендации от представителя этой компании.
Технический скрининг
Проходит, как правило, по телефону. Состоит из одного‒двух сложных и столько же простых вопросов, касающихся текущего стека работодателя.
HR-интервью
Может проходить по телефону. На этом этапе кандидата проверяют на общую адекватность и способность общаться.
Техническое собеседование
Чаще всего проходит очно. В разных компаниях уровень позиций в штатном расписании отличается, и называться позиции могут по-разному. Поэтому на этом этапе проверяют именно технические знания.
Собеседование с техническим директором / главным архитектором
Data Scientist и Data Engineer — стратегические позиции, а для многих компаний к тому же новые. Важно, чтобы потенциальный коллега понравился руководителю и совпадал с ним во взглядах.
- Научитесь строить и обучать предиктивные модели с помощью алгоритмов машинного обучения и нейросетей
- Сможете находить скрытые закономерности, прогнозировать развитие событий и оптимизировать ключевые бизнес-процессы
Что поможет дата-сайентистам и инженерам данных в карьерном росте
Появилось достаточно много новых инструментов по работе с данными. И мало кто одинаково хорошо разбирается во всех.
Многие компании не готовы нанимать сотрудников без опыта работы. Однако кандидаты с минимальной базой и знанием основ популярных инструментов могут получить нужный опыт, если будут обучаться и развиваться самостоятельно.
Полезные качества для дата-инженера и дата-сайентиста
Желание и умение учиться. Необязательно сразу гнаться за опытом или менять работу ради нового инструмента, но нужно быть готовым переключиться на новую область.
Стремление к автоматизации рутинных процессов. Это важно не только для продуктивности, но и для поддержания высокого качества данных и скорости их доставки до потребителя.
Внимательность и понимание «что там под капотом» у процессов. Быстрее решит задачу тот специалист, у которого есть насмотренность и доскональное знание процессов.
Кроме отличного знания алгоритмов, структур данных и пайплайнов, нужно научиться мыслить продуктами — видеть архитектуру и бизнес-решение как единую картину.
Например, полезно взять любой известный сервис и придумать для него базу данных. Затем подумать, как разработать ETL и DW, которые наполнят её данными, какие будут потребители и что им важно знать о данных, а также как покупатели взаимодействуют с приложениями: для поиска работы и знакомств, прокат автомобилей, приложение для подкастов, образовательная платформа.
Позиции аналитика, Data Scientist и Data Engineer очень близки, поэтому переходить из одного направления в другое можно быстрее, чем из других сфер.
В любом случае, обладателям любого ИТ-бэкграунда будет проще, чем тем, у кого его нет. В среднем взрослые мотивированные люди переучиваются и меняют работу каждые 1,5‒2 года. Легче это даётся тем, кто учится в группе и с наставником, — по сравнению с теми, кто опирается лишь на открытые источники.
Материал изначально опубликован на habr.
- Научитесь с нуля собирать, анализировать и презентовать данные
- Освоите актуальные инструменты анализа данных:
Hadoop и NoSQL - Сможете находить инсайты в данных и предлагать бизнесу оптимальные сценарии роста
Хотите написать колонку для Нетологии? Читайте наши условия публикации. Чтобы быть в курсе всех новостей и читать новые статьи, присоединяйтесь к Телеграм-каналу Нетологии.