Middle+, Senior ETL-разработчик (Greenplum)

Middle+, Senior ETL-разработчик (Greenplum) на Fintech проект🙂

✅Компания:
Робуста Технологии-занимается импортозамещением всего, что связано с Bid Data: построение КХД, BI систем и тд.
Основные клиенты-крупная промышленность и Fintech.

✅Проект: Российский Fintech проект (non banking).
Миграция КХД с MSSQL на Greenplum

✅Вилка зп: От 350.000 до 450.000 руб на руки.

✅Локация: Удаленка из РФ

✅Занятость: Полная 5/2 (гибкое начало рабочего дня по часовому поясу Мск)

✅Условия: Оформление по ТК РФ (Аккредитованная ИТ-компания)

✅Вам предстоит:
-Совместная работа с DBA-архитектором на проектах;
-Организация ETL-процессов выгрузки данных Apache Hudi таблиц из S3 в ODS-слой на Greenplum;
-Разработка трансформации данных ODS-слоя в DDS-слой;
-Имплементация различных CDC-методов (инкрементальный JOIN с двумя наборами данных, вычисление хэша с последующим diff);
-Разработка plpgsql-функций или аналогичной логики на Spark для трансформации данных, на основе логике существующего Python/T-SQL кода (MSSQL);
-Разработка ad-hoc аналитических запросов под PostgreSQL/Greenplum;
-Разработка DataQuality-тестов на скриптовом ETL (Pyhon, Java или Scala);
-Работа с AirFlow-операторами, разработка DAGs;

✅Мы ожидаем что у Вас есть опыт:
-Опыт ETL-разработчиком от 4 лет;
-Опыт с технологическим стеком: Greenplum, PXF, Spark.
-Понимание различий PostgreSQL & Greenplum;
-Понимание механизма работы QE/QD (query executor & query dispatcher), и как исполняется SQL-запрос в Greenplum-кластере, включая планы запросов (redistribute, broadcast, gather motions);
-Понимание механизма дистрибьюции данных на сегмент-инстансах Greenplum, и как исправлять перекосы данных (skews);
-Понимание разницы механизмов работы Heap & AOP (append-optimzed) таблиц в Greenplum, включая понимание “ограничений” колоночного формата хранения данных;
-Понимает различий между логическими моделями: звезды, снежинки и DataVault;

✅Мы предлагаем:
-Удалённую работу из РФ;
-Работу без бюрократии и ненужных ритуалов. Мы работаем вместе, чтобы помочь вам реализовать ваши амбиции, а компании — расти;
-ДМС: нам важно, чтобы наши сотрудники развивали свои компетенции и были здоровы;
-Невероятную корпоративную жизнь: от походов в музеи до совместных путешествий и rave-вечеринок;
-Гибкое время начала рабочего дня.