#vacancy #remote #DataEngineer

Компания: BroIT
Вакансия: Data Engineer
Формат работы: офис Минск или удаленно (локации: Южный Кипр, Казахстан, Армения, Молдова, Сербия, РФ)
ЗП: 3500-4000 usd netto
Контакт для связи: https://t.me/AlenaTsim


Задачи:
- развивать и поддерживать потоки поглощения данных из различных источников: kappa-архитектура, данные передаются через Kafka, используем коннекторы Debezium, возможна разработка собственных коннекторов к другим источникам;
- развивать и поддерживать модель хранения данных в нашем LakeHouse на базе Delta-таблиц
- работать с данными в MySQL, PostgreSQL, MongoDB и др;
- разрабатывать пайплайны обработки данных в Dagster;
- решать вопросы производительности работы сервисов Data Engineering;
- разрабатывать и развивать модель качества данных Quality Assurance;
- развивать инфраструктуру Data Analytics и Data Engineering, внедрять новые сервисы инфраструктуры.

Необходимые требования:
- уровень от middle;
- знание и опыт программирования на Python;
- плюсом будет опыт программирования на Scala для Apache Spark;
- знание SQL, аналитический SQL - будет плюсом;
- опыт работы с сервисами из нашего стека: особенно нужен опыт работы с Kafka, SchemaRegistry, Spark Structured Streaming, ksqlDB;
- знание основных принципов работы ETL-систем, опыт работы с Dagster/Airflow будет плюсом;
- плюсом будет знание и опыт использования моделей качества данных Quality Assurance;
- плюсом будет наличие опыта по разработке своих коннекторов для Kafka;
- плюсом будут знания в области систем BI: как устроены витрины данных, как организуются данные для публикации в BI системах;
плюсом будет опыт построения хранилищ данных и систем для анализа данных.