Data Engineer (Middle+ и выше)

Data Engineer
IT
Finance
#Python
#Docker
#PostgreSQL
#SQL
#Redis
#MongoDB
#AWS Lambda
#Apache Airflow
#GitHub
#Docker-compose
#AWS S3
#AWS SQS
#AWS RDS
#AWS Redshift
#AWS Glue
#AWS Athena
#AWS Fargate
#AWS Databricks
#Pysaprk
Россия
фултайм
удаленка

Опыт от 1 до 3 лет

от 280.000 ₽ до 300.000 ₽

Описание вакансии

Позиция: Data Engineer (Middle+ и выше)💻
Ставка: 280.000 - 300.000 руб💰
Занятость: Полная
Локация: РФ
Гражданство: РФ
Оформление: Только ИП
Компания: Top Selection

Привет! Меня зовут Анастасия. Я представляю группу компаний Top Selection.
Мы занимаемся продуктовой разработкой и аутсорсингом IT персонала для рынка России, Европы и США.
В данный момент мы в поисках Data Engineer.🔥

📝Задачи:
▪️Построение ELT - потоков данных на AWS;
▪️Написание SQL - запросов и процедур в Amazon RDS;
▪️Управление Amazon RDS;
▪️Помощь в моделировании данных для сервисов AWS;
▪️Оптимизация организации данных и производительности запросов на AWS;
▪️Предоставление эффективных облачных решений с AWS;
▪️Обработка данных с использованием AWS Databricks;
▪️Проектирование оркестрации с AWS Data Pipeline;
▪️Настройка хранения изображений на AWS S3;
▪️Параллелирование и оптимизация потоков данных с помощью AWS;
▪️Обработка больших объемов данных с помощью сервисов AWS;
▪️Разработка панелей мониторинга и отчетов с AWS QuickSight;
▪️Разработка bash-скриптов;
▪️Очистка данных с использованием AWS Glue;
▪️Тестирование SQL-баз данных и исправление ошибок;
▪️Управление и поддержка каталогов данных AWS Glue;
▪️Реализация безсерверных вычислений с использованием AWS Lambda;
▪️Разработка модели данных на Data Vault 2.0;
▪️Разработка связей между hub в виде link, по областям;
▪️Ревью и рефакторинг кода.

✅Требования:
▪️Опыт работы с Greenplum.

➕Будет плюсом:
▪️Опыт в финтехе.

🔧Технологии:
Python, SQL, Apache Airflow, AWS (S3, RDS, Glue, Athena, Fargate , Databricks, SQS, Lambda, Redshift, etc.), PostgreSQL, Redis, MongoDB, Pysaprk, Docker, Docker-compose, GitHub.