Data Engineer Milano

Data Engineer
Milano
Lombardia, Milano

Gruppo ItalgasItalgas è una Network Tech Company, leader nei settori gas, idrico, efficienza energetica e IT.

Primo operatore in Italia e Grecia nella distribuzione del gas naturale, e terzo in Europa, gestisce un network che si estende per oltre 81. 000 chilometri al servizio di circa 8 milioni di clienti.

Con le sue controllate nell'idrico, il Gruppo serve – direttamente e indirettamente – 6, 2 milioni di persone (pari al 10% della popolazione italiana) concentrate nelle regioni Lazio, Sicilia e Campania.

La fondazione del Gruppo risale al 1837.

Con quasi due secoli di storia alle spalle è unanimemente riconosciuta come la società che ha portato il gas nelle case degli italiani, contribuendo allo sviluppo economico e sociale del Paese. In tale contesto è stata creata Bludigit S. p. A. , società del Gruppo Italgas nata per dare ulteriore impulso alla trasformazione digitale di Italgas e per offrire soluzioni all'avanguardia anche ad altri operatori nei settori dell'energia e delle infrastrutture, per supportare e incentivare la transizione energetica e digitale.

Bludigit propone soluzioni proprietarie per accelerare la trasformazione digitale, attraverso un ecosistema di partner tecnologici e tramite la Digital Factory, l'hub di innovazione del Gruppo Italgas. Stiamo cercando un esperto/a Data Engineer da inserire nel nostro team dinamico.

Sarai responsabile della progettazione, dello sviluppo e della manutenzione delle pipeline di dati e dell'infrastruttura che supporta le nostre iniziative di analisi avanzata e intelligenza artificiale.

Lavorerai a stretto contatto con data scientist, specialisti di AI e team di business per garantire che i dati vengano acquisiti, elaborati, archiviati e serviti in modo efficiente e sicuro, utilizzando tecnologie all'avanguardia come Azure, Databricks e Delta Lake. Responsabilità principali:Progettare e implementare pipeline di dati robuste utilizzando Azure Data Factory, garantendo l'integrazione senza problemi di più fonti di dati. Costruire e mantenere architetture Delta Lake (livelli Bronze, Silver, Gold) per gestire dati grezzi, puliti e arricchiti in modo efficiente. Sviluppare processi ETL per trasformare e preparare i dati per modelli di AI e strumenti di business intelligence. Lavorare a stretto contatto con i team di intelligenza artificiale e machine learning per garantire che i dati necessari per l'addestramento dei modelli siano accurati e aggiornati. Supportare il deployment di modelli utilizzando Databricks, MLflow e Azure Cognitive Services, abilitando l'accesso ai dati in tempo reale. Garantire che i dati siano strutturati e ottimizzati per il consumo tramite Power BI per la creazione di report e dashboard. Collaborare con gli sviluppatori per esporre servizi di dati e analisi tramite API Gateway per applicazioni interne ed esterne. Monitorare e ottimizzare le prestazioni delle pipeline di dati e dell'archiviazione per garantire scalabilità e accesso ai dati a bassa latenza. Supportare la strategia di gruppo attraverso l'ingegneria del dato e il continuo sviluppo della Data Platform aziendale. Progettazione di Pipeline di Dati: Creare e mantenere pipeline per l'acquisizione, l'elaborazione dei dati e l'integrazione dei dati. Manutenzione delle Infrastrutture di Dati: Garantire che le infrastrutture siano efficienti e scalabili, monitorare e migliorare la qualità dei dati. Collaborare coi team Agile della Digital Factory di Italgas allo sviluppo della data platform aziendale e all'implementazione dei processi di gestione della qualità del dato. Coordinare e supportare eventuali fornitori esterni all'organizzazione. Migliorare l'efficienza e l'affidabilità delle pipeline di dati. Implementare misure di sicurezza per proteggere i dati sensibili. Mantenere una documentazione dettagliata delle architetture e dei processi di dati. Fornire supporto tecnico e risolvere issue e incidenti sulla data platform riconducibili ai dati stessi. Promuovere una cultura Data-Driven e di sviluppo di soluzioni AI-based. - Almeno 5 anni di esperienza nel ruolo di Data Engineer, partecipando a progetti di trasformazione data-driven o AI-driven in realtà simili a Italgas per complessità e magnitudine. Sede di lavoro: Milano o Torino #J-18808-Ljbffr