Вакансия в архиве
Работодатель, вероятно, уже нашел нужного кандидата и больше не принимает отклики на эту вакансию
SM Lab – это аккредитованная ИТ-компания в составе Спортмастера. Мы делаем системы, на которые опирается наш бизнес: от мобильного приложения до мобильной кассы, от больших данных до антифрода, помогая Спортмастеру расти и развиваться.
У нас уже более 95 продуктовых команд и проектов из различных областей нашего бизнеса.
Мы работаем из любого города страны и с удовольствием рассматриваем удаленный формат работы.
Мы находимся в поиске Senior Data Engineer, который будет заниматься развитием направлений: "Цифровая аналитика", "Антифрод", " Платформа DataLake".
Ваши задачи:
Реализация ETL в Hadoop (с помощью Airflow);
Работа с различными источниками данных: Oracle, MS SQL, API личных кабинетов, микросервисы;
Батч и стримы с помощью PySpark и Kafka;
Подготовка витрин для анализа (Hive + Spark + SQL).
Наш стек: Ванильный hadoop; Kafka, Spark, Airflow; ClickHouse; Jira; Confluence; GitLab.
Мы ждем от будущих коллег:
Уверенное владение Python;
Опыт использования эко-системы Hadoop: HDFS, Apache AirFlow, Hive, Kafka,Spark;
Знание SQL;
Опыт работы с реляционными базами данных (Oracle).
*БАЛАНС РАБОТЫ И ЛИЧНОЙ ЖИЗНИ
Работодатель, вероятно, уже нашел нужного кандидата и больше не принимает отклики на эту вакансию