Databricks Engineer (40319)

Jako Databricks Engineer budete posuzovat proveditelnost migrace z Cloudera Data Lake do Azure Databricks a připravíte proof of concept pro jednotnou datovou vrstvu. Součástí práce je vývoj datových pipeline v PySpark a SQL a jejich optimalizace z hlediska výkonu i nákladů. Budete se podílet na implementaci CI/CD pro Databricks a integraci dat pomocí Kafka a JDBC. Důležitá je také automatizace importu a exportu souborů a vývoj pipeline řízených metadaty. Zaujala vás tato nabídka? Neváhejte mě kontaktovat.

🚀 Projekt
- posouzení proveditelnosti migrace z Cloudera Data Lake do Azure Databricks
- tvorba proof of concept pro jednotnou datovou vrstvu
- vývoj datových pipeline v PySpark a SQL
- optimalizace výkonu a nákladů Spark pipeline
- implementace CI/CD pro Databricks (GitOps, Asset Bundles)
- integrace dat pomocí Kafka a JDBC
- automatizace importu a exportu souborů
- vývoj pipeline řízených metadaty

🎯 Skills
- praxe s Azure Databricks a Apache Spark
- zkušenost s vývojem v PySpark (3+ roky) a SQL
- optimalizace výkonu a nákladů Spark pipeline
- CI/CD pro Databricks (GitOps, Asset Bundles)
- integrace dat přes Kafka a JDBC
- automatizace import/export souborů
- metadata-driven pipeline development
- AJ B2

💡 Nice to have
- zkušenost s vývojem datových aplikací (Streamlit)
- znalost Scaly pro Spark development
- Spark Structured Streaming a Delta Lake best practices
- znalost MLflow a Unity Catalog
- obecná praxe s big data ekosystémem (Hadoop, Kafka, cloud)