#vacancy
Ищу Data Platform Engineer в Exness:

Требования:
-Разрабатывать и поддерживать хранилище данных (Vertica);
-Внедрение и эксплуатация озера данных (S3 MinIO + Spark);
-Поддерживать и обогащать среду для создания активов данных, таких как (конвейеры ETL/ELT, DDL и т. д.), путем разработки инструмента преобразования данных (DBT);
-Внедрить и поддерживать каталог данных, родословную данных, бизнес-глоссарий.
Активное участие в развитии среды платформы данных:
-Создание и контроль соблюдения политик безопасности данных, политик кода, соглашений об именах;
-Участие в разработке архитектуры платформы данных;
-Рекомендовать способы повышения надежности, эффективности и качества данных.
-Идеальный кандидат:
-Большой опыт работы с реляционными базами данных, такими как Vertica, PostgreSQL, ClickHouse, BigQuery и подобными. Опыт работы с базами данных MPP приветствуется;
-Технические знания проектирования баз данных РСУБД в контексте хранилищ данных и оптимизации запросов;
-Значительный опыт в архитектуре данных, моделировании данных, хранении данных, безопасности данных, качестве данных;
-Опыт работы с большими данными и созданием озера данных;
-Опыт построения ETL/ELT для получения данных из различных источников данных;
-Навыки Python, связанные с ETL, ETL-инструментами;
-Экспертное знание языка структурированных запросов (SQL);
-Понимание базовых принципов CI/CD в области обработки данных.
тоже будет плюс
-Опыт внедрения фреймворков каталога данных;
-Практические знания Apache Spark для пакетной обработки данных и обработки данных в реальном времени;
-Осведомленность о создании систем потоковой обработки с использованием таких решений, как Flink.

За подробностями в личку @evg_sanakina