Старший инженер данных
Senior Data Engineer
Ступино, Москва, Санкт-Петербург
От 3 лет
Гибрид
Полная занятость
Что вы будете делать
Мы находимся в поисках Инженера данных, который будет отвечать за выстраивание технического говернанса процессов, а также поддерживать загрузки потоков данных от источников в корпоративное хранилище.
- Работать с лидером направления по интеграции, дата архитекторами, инженерами и руководителями по созданию продуктов на основе данных.
- Участвовать в реализации стратегии по внедрению стандартов и лучших практик в области хранения, обработки и анализа данных.
- Формировать требования к процедурам сбора, преобразования и загрузки данных, изменений физической структуры данных, внедрять их в процессы разработки продуктов на уровне отдела аналитики данных.
- Интегрировать системы-источники в единое корпоративное хранилище в соответствии с корпоративными политиками по безопасности хранения данных
- Работать совместно с архитектором данных над созданием и развитием структуры единого корпоративного хранилища данных.
- Участвовать в разработке и поддержке информационной модели данных хранилища (логической структуры данных, модели информационных потоков).
- Создавать алгоритмы валидации и дедупликации данных.
- Работать над процессами по улучшению качества данных и над их автоматизацией.
- Документировать требования по созданию витрин данных.
- Разрабатывать и документировать потоки данных от источников в корпоративное хранилище
- Разрабатывать регламенты загрузки данных в корпоративное хранилище из систем-источников.
Мы ожидаем
- Высшее образование.
- Опыт работы в области управления и обработки данными от 3 лет.
- Профессиональное владение SQL.
- Более 2 лет практического опыта работы с Python, Spark.
- Опыт работы с технологиями на основе Hadoop (HDInsight, Spark, Hive, Pig, Scala).
- Опыт работы с инструментами ETL, такими как Azure Data Factory, SSIS, Pentaho и т.д.
- Опыт работы с технологиями хранения Azure (Azure Data Lake, Azure SQL Data Warehouse).
- Практический опыт использования инструментов управления конфигурацией и автоматизации (Azure DevOPS, Ansible, DSC, Puppet, Chef, Salt).
- Навыки работы с JIRA/ADO.
- Высокий уровень владения английским языком (устный и письменный).
Работать в Mars – здорово!
Узнайте, что вас ждёт в нашей команде.
Чтобы вы могли расти и развиваться вместе с нами
Чтобы вы могли расти и развиваться вместе с нами
