Data Engineer (43665)

Hledám Data Engineera pro návrh a správu datových pipeline mezi on-premise SQL Serverem a Google Cloud Platform. Budete řešit CDC, streaming, návrh a optimalizaci struktur v BigQuery a orchestrace procesů v Airflow/Cloud Composer. Součástí role je monitoring, troubleshooting a spolupráce s businessem na převodu požadavků do technického řešení. Požaduji silnou znalost SQL Server, T-SQL, ETL nástrojů, GCP, BigQuery, Pythonu a datového modelování.

🚀 Projekt
- budování a správa datových pipeline mezi on-premise SQL Server prostředím a Google Cloud Platform
- návrh a realizace přesunu a synchronizace dat do cloudu včetně Change Data Capture (CDC) a streamingu
- návrh a optimalizace datových struktur v BigQuery (partitioning, clustering) s důrazem na výkon a nákladovou efektivitu
- automatizace a orchestrace datových procesů pomocí Cloud Composer (Airflow), Dataform a dalších nástrojů
- monitoring produkčních pipeline, troubleshooting, řešení incidentů a kontrola kvality dat
- práce s dimensional modellingem a Star/Snowflake schématy
- spolupráce s analytiky a businessem a převod jejich požadavků do technického řešení

🎯 Skills
- zkušenost na pozici Data Engineer / DWH Engineer nebo v podobné data roli
- zkušenost s end-to-end datovými pipelines
- velmi dobrá znalost SQL Server a T-SQL
- zkušenost se stored procedures, CTEs a SQL performance tuningem
- zkušenost se SSIS nebo jiným ETL/integration nástrojem
- praktická zkušenost s Google Cloud Platform
- BigQuery
- Google Cloud Storage
- Python
- Pandas nebo PySpark
- dimensional modelling
- Star/Snowflake schema
- zkušenost s orchestrace datových workflow (Airflow / Cloud Composer)
- schopnost monitoringu a troubleshooting produkčních pipeline

💡 Nice to have
- Terraform
- Git
- CI/CD
- GitHub Actions
- Jenkins
- Pub/Sub
- streaming
- Dataflow
- Dataproc
- Cloud Composer
- Airflow
- Dataform
- Databricks
- Data Mesh
- Data Products
- hlubší zkušenost s CDC

#LI-VH1