Migration Specialist (40318)

Jako Migration Specialist budete posuzovat proveditelnost migrace z Cloudera Data Lake do Azure Databricks a vytvářet proof of concept pro jednotnou datovou vrstvu. Součástí práce je návrh a realizace migračních plánů i vývoj pipeline v PySpark a HiveQL. Budete pracovat s otevřenými datovými formáty, jako jsou Avro a Parquet, a navrhovat škálovatelnou datovou architekturu. Ocením praxi s migrací Cloudera clusterů a znalost Cloudera ekosystému. Zaujala vás tato příležitost? Určitě se mi ozvěte.

🚀 Projekt
- posouzení proveditelnosti migrace Cloudera Data Lake do Azure Databricks
- tvorba proof of concept pro jednotnou datovou vrstvu
- návrh a realizace migračních plánů
- vývoj datových pipeline v PySpark a HiveQL
- práce s otevřenými datovými formáty (Avro, Parquet)
- návrh škálovatelné datové architektury

🎯 Skills
- praxe s migrací Cloudera clusterů (ideálně do Azure / veřejného cloudu)
- znalost Cloudera ekosystému (CDH/CDP, HDFS, YARN)
- práce s otevřenými formáty dat (Avro, Parquet)
- vývoj v PySpark a HiveQL
- zkušenost s návrhem a skriptováním migrací
- návrh škálovatelné datové architektury
- AJ B2

💡 Nice to have
- zkušenost s Azure Data Factory, ADLS Gen2, Blob Storage
- znalost DistCp a dalších migračních nástrojů
- praxe s laděním výkonu Hadoop/Spark clusterů
- znalost bezpečnostních konceptů (Kerberos, šifrování)