Middle Data Engineer

Middle Data Engineer
Формат работы: Офис в Москве/Минске
Компания: X-Labs
ЗП (net): 150 000 – 300 000 руб.

XLabs AI — это команда, которая живет машинным обучением и нейронными сетями. Мы создаем и внедряем крутые решения, которые двигают границы возможного и вдохновляют на новые свершения. У нас уже есть линейка продуктов, которые влияют на развитие генеративного ИИ. Если ты работал с BigData и знаешь, что такое шардинг, то тебе точно к нам.

Стек технологий: Python, MongoDB, Redis, S3, SQL, AirFlow, Git, Docker, K8s, dvc.

Чем предстоит заниматься:
- Разработка собственного Data Catalog;
- Разработка и проектирование хранилища данных для обучения Gen AI моделей (и не только);
- Разработка и поддержка ETL процессов на Python и Spark с использованием Airflow;
- Работа с различными системами хранения (MongoDB, Redis, S3).

Чего мы от тебя ждем:
- Высоких навыков промышленной разработки на Python;
- Понимания основ ML и нейронных сетей;
- Опыта сбора и фильтрации данных для ML моделей (NLP, Video, Audio);
- Опыта работы с S3, AirFlow, Git, Docker;
- Опыта выстраивания и оптимизации ETL-процессов;
- Готовности брать инициативу;
- Мотивируешься смелыми вызовами и нестандартными задачами.

Будет плюсом:
- Опыт работы с большими объёмами данных (>10Tb);
- Опыт работы с изображениями, видео или аудио.

Что мы предлагаем:
- Сильную команду, с которой можно расти;
- Возможность попробовать себя в разных модальностях данных (NLP, Video, Audio);
- Комфортный офис в Москва-Сити или в Минске с бесплатным кофе и снеками;
- Корпоративную технику и все необходимое для работы;
- Гибкое начало рабочего дня;
- Sick days;
- ДМС.