Инженер данных
Data Engineer
Санкт-Петербург
От 3 лет
Удаленная работа, Гибрид
Полная занятость
Что вы будете делать
Мы ищем Инженера данных / Data Engineer в центральную инженерную команду Data Management бизнес-сегмента Pet Nutrition.
Цель команды Data Management – внедрить процессы управления данными, а также практики и системы, которые позволят всей компании контролировать свои ресурсы в виде данных и управлять ими. Мы отвечаем за работу всего data-pipeline от исходной системы до отчета.
Основной фокус центральной команды направлен на разработку собственных дата-продуктов и развитие инженерной практики по работе с данными в компании.
- Разрабатывать и оптимизировать пайплайны обработки данных (как batch, так и streaming)
- Интегрировать новые источники данных в Data Lake
- Участвовать в развитии фреймворка по качеству данных
- Проводить код-ревью
Мы ожидаем
- Опыт разработки пайплайнов обработки данных в Airflow
- Опыт оптимизации Spark-приложения
- Понимание работы СУБД и принципов построения хранилищ данных
- Опыт работы с Hadoop (Spark, HDFS, YARN etc.)
- Уверенное владение SQL, Python/Scala/Java
Будет плюсом
- Опыт работы с Kafka, Nifi
- Наличие опыта оптимизации потребления ресурсов
- Готовность участвовать в развитии лучших инженерных практик внутри компании
Работать в Mars — здорово!
Узнайте, что вас ждёт в нашей команде.
Чтобы вы могли расти и развиваться вместе с нами
Чтобы вы могли расти и развиваться вместе с нами
