Senior Data Engineer
Data Engineer
IT
Business
#Python
#Docker
#Git
#Mysql
#Kafka
#PHP
#Airflow
#ClickHouse
#Superset
Москва
фултайм
офис
удаленка
Опыт от 3 до 5 лет
от 300.000 ₽ до 450.000 ₽
Описание вакансии
#вакансия #remote #fulltime #DataEngineer
✨ Позиция: Senior Data Engineer
🏦 Компания: Rusprofile
💰 Вилка ЗП: от 300.000 до 450.000 на руки (готовы платить выше указанной вилки, если твой опыт отвечает всем нашим ожиданиям)
Rusprofile — быстрорастущая частная компания, один из лидеров российского рынка RegTech. Сервис помогает компаниям быстро и эффективно принимать критические для бизнеса решения на основе данных, собираемых ежедневно из десятков источников. Аудитория Rusprofile — это около 10 млн пользователей в месяц и десятков тысяч платящих клиентов, от малого бизнеса до крупных корпораций.
Про наш стэк: ClickHouse, Airflow, Kafka, Superset, Mysql, Python, PHP, Docker, Git.
⚙️ Твои задачи будут включать:
1. Погружение в текущую инфраструктуру данных:
- Изучение существующего хранилища данных, структуры и настройки (ClickHouse, MySQL), пайплайнов данных и инструментов (Airflow, Superset, Kafka);
- Погружение в текущие процессы и практики команды.
2. Планирование и определение приоритетов:
- Выявление возможностей для быстрых оптимизаций в текущей инфраструктуре и процессах;
- Разработку плана тактических улучшений текущей инфраструктуры данных на ближайшие 3-4 месяца, совместно с CTO;
- Определение топ приоритетных задач, которые должны быть обязательно закрыты в течение испытательного срока.
3. Перенос инфраструктуры данных на IaC:
- Поиск, выбор внешнего партнера (вероятно flant или express42) и запуск пилотного проекта по переходу на IaC в первые 3 месяца;
- Планирование и начало реализации полного перехода с bare metal на IaC в течение полугода.
4. Взятие на себя ответственности за инфраструктуру данных:
- Стать владельцем текущего стека данных и процессов;
- Обеспечение поддержки и стабильной работы существующей инфраструктуры.
5. Сотрудничество с командами:
- Налаживание эффективного взаимодействия с продуктовой командой, разработчиками и командой инфраструктуры;
- Обеспечение коммуникации и совместной работы над проектами по развитию инфраструктуры данных.
Как понять что ты подойдешь ❓
- Опыт работы от 3 лет в роли Data Engineer;
- Глубокое знание SQL и понимание методик оптимизации запросов;
- Уверенное владение Python;
- Опыт работы с Airflow, Superset, ClickHouse;
- Понимание устройства реляционных и нереляционных баз данных;
- Умение разрабатывать ETL/ELT пайплайны на базе Airflow;
- Навыки мониторинга и отладки пайплайнов обработки данных;
- Умение проектировать архитектуру данных в том числе индексы, партиционирование, шардирование;
- Понимание принципов data quality и data lineage;
- Опыт работы с Docker и контейнеризацией;
- Знание Linux на уровне базового администрирования;
- Опыт работы с Git;
- Умение самостоятельно развертывать и поддерживать сервисы обработки данных;
- Опыт настройки и оптимизации производительности СУБД;
- Базовые навыки практик DevOps;
- Опыт работы с CI/CD.
Что мы предлагаем ❓
- Свободу действий в принятии решений и высокий уровень ответственности - у тебя будет возможность влиять на продукт и строить процессы так, чтобы они помогали бизнесу достигать своих целей;
- Интересный продукт в одном из самых быстрорастущих сегментов рынка во всем мире. У нас большие стратегические планы по развитию стека обработки данных и сейчас очень ранний этап работы с этими планами, есть возможность сразу сделать хорошо почти с нуля;
- Основной бизнес компании - данные. Лучшего применения своим знаниям трудно представить, так как от эффективности и скорости работы с данными напрямую зависит успех;
- Гибкий график и возможность удаленной работы (можно также работать в нашем офисе в Москва-Сити с потрясающим видом на столицу);
- Работу в аккредитованной ИТ компании с полным соблюдением ТК РФ;
- Любую технику для работы;
- ДМС, 7 Day Off, оплату обучения, семинаров и конференций.
Откликнуться сюда 📩
✨ Позиция: Senior Data Engineer
🏦 Компания: Rusprofile
💰 Вилка ЗП: от 300.000 до 450.000 на руки (готовы платить выше указанной вилки, если твой опыт отвечает всем нашим ожиданиям)
Rusprofile — быстрорастущая частная компания, один из лидеров российского рынка RegTech. Сервис помогает компаниям быстро и эффективно принимать критические для бизнеса решения на основе данных, собираемых ежедневно из десятков источников. Аудитория Rusprofile — это около 10 млн пользователей в месяц и десятков тысяч платящих клиентов, от малого бизнеса до крупных корпораций.
Про наш стэк: ClickHouse, Airflow, Kafka, Superset, Mysql, Python, PHP, Docker, Git.
⚙️ Твои задачи будут включать:
1. Погружение в текущую инфраструктуру данных:
- Изучение существующего хранилища данных, структуры и настройки (ClickHouse, MySQL), пайплайнов данных и инструментов (Airflow, Superset, Kafka);
- Погружение в текущие процессы и практики команды.
2. Планирование и определение приоритетов:
- Выявление возможностей для быстрых оптимизаций в текущей инфраструктуре и процессах;
- Разработку плана тактических улучшений текущей инфраструктуры данных на ближайшие 3-4 месяца, совместно с CTO;
- Определение топ приоритетных задач, которые должны быть обязательно закрыты в течение испытательного срока.
3. Перенос инфраструктуры данных на IaC:
- Поиск, выбор внешнего партнера (вероятно flant или express42) и запуск пилотного проекта по переходу на IaC в первые 3 месяца;
- Планирование и начало реализации полного перехода с bare metal на IaC в течение полугода.
4. Взятие на себя ответственности за инфраструктуру данных:
- Стать владельцем текущего стека данных и процессов;
- Обеспечение поддержки и стабильной работы существующей инфраструктуры.
5. Сотрудничество с командами:
- Налаживание эффективного взаимодействия с продуктовой командой, разработчиками и командой инфраструктуры;
- Обеспечение коммуникации и совместной работы над проектами по развитию инфраструктуры данных.
Как понять что ты подойдешь ❓
- Опыт работы от 3 лет в роли Data Engineer;
- Глубокое знание SQL и понимание методик оптимизации запросов;
- Уверенное владение Python;
- Опыт работы с Airflow, Superset, ClickHouse;
- Понимание устройства реляционных и нереляционных баз данных;
- Умение разрабатывать ETL/ELT пайплайны на базе Airflow;
- Навыки мониторинга и отладки пайплайнов обработки данных;
- Умение проектировать архитектуру данных в том числе индексы, партиционирование, шардирование;
- Понимание принципов data quality и data lineage;
- Опыт работы с Docker и контейнеризацией;
- Знание Linux на уровне базового администрирования;
- Опыт работы с Git;
- Умение самостоятельно развертывать и поддерживать сервисы обработки данных;
- Опыт настройки и оптимизации производительности СУБД;
- Базовые навыки практик DevOps;
- Опыт работы с CI/CD.
Что мы предлагаем ❓
- Свободу действий в принятии решений и высокий уровень ответственности - у тебя будет возможность влиять на продукт и строить процессы так, чтобы они помогали бизнесу достигать своих целей;
- Интересный продукт в одном из самых быстрорастущих сегментов рынка во всем мире. У нас большие стратегические планы по развитию стека обработки данных и сейчас очень ранний этап работы с этими планами, есть возможность сразу сделать хорошо почти с нуля;
- Основной бизнес компании - данные. Лучшего применения своим знаниям трудно представить, так как от эффективности и скорости работы с данными напрямую зависит успех;
- Гибкий график и возможность удаленной работы (можно также работать в нашем офисе в Москва-Сити с потрясающим видом на столицу);
- Работу в аккредитованной ИТ компании с полным соблюдением ТК РФ;
- Любую технику для работы;
- ДМС, 7 Day Off, оплату обучения, семинаров и конференций.
Откликнуться сюда 📩
Rusprofile
быстрорастущая частная компания, один из лидеров российского рынка RegTech
