Data Engineer Senior

Data Engineer Senior на финтех проект

🏢Компания: Luna Capital — аккредитованная ИТ-компания;
🌟Грейд: Senior
🌍Локация: РФ
🔻Тип работы: удаленная работа
💰Вилка: 300 000 - 310 000

————————————————
О ПРОЕКТЕ:

Финтех-проект по развитию корпоративной data-платформы банка для аналитики и отчётности.
В фокусе — миграция и автоматизация ETL-процессов, разработка end-to-end пайплайнов, оптимизация производительности и внедрение современных решений на базе Spark, Airflow, Hadoop и dbt. Проект требует глубокого понимания банковской предметной области и устойчивой архитектуры обработки данных.

————————————————
ЧТО НУЖНО ДЕЛАТЬ:

• Миграция и настройка процессов отчётности и аналитики, включая регламентные загрузки;

• Работа с общебанковской data-платформой (Data Lake, DWH);

• Разработка end-to-end пайплайнов по сбору и обработке данных: выбор формата, структуры хранения, архитектуры интеграций;

• Оптимизация производительности пайплайнов, инструментов и дата-сервисов;

• Развитие архитектуры данных, внедрение новых технологических решений;

• Управление обновлениями и конфигурацией, устранение уязвимостей, восстановление сервисов и реагирование на инциденты.

————————————————
ТРЕБОВАНИЯ:

1. Опыт в роли Data Engineer от 5 лет (только коммерческий опыт);

2. Уверенное знание SQL, включая оптимизацию сложных запросов;

3. Знание принципов работы классических и MPP-СУБД;

4. Опыт разработки на Python и/или Java, Scala;

5. Умение работать с Airflow для оркестрации ETL;

6. Опыт с dbt;

7. Работа с экосистемой Hadoop: HDFS, YARN, Hive, Sqoop;

8. Опыт с Apache Spark: DataFrames, Spark SQL;

9. Знание банковской предметной области и опыт участия в финтех-проектах.

➕ Будет плюсом:

+ Опыт работы с Kafka, Trino;

+ Навыки работы с контейнеризацией и оркестрацией: Kubernetes, Helm;

+ Понимание принципов CI/CD.