Professione Informatica: La figura del Data Engineer

Chi è e cosa fa un data engineer?

Il Data engineer è un professionista del mondo IT il cui compito è preparare i dati per usi analitici o operativi, garantendo la disponibilità dei dati, nonché la loro qualità e fruibilità a chi li utilizza per metterli al servizio del business.

Il suo lavoro consiste nel raccogliere correttamente e poi raffinare, analizzare, interpretare e valorizzare quantità consistenti di dati di elevata complessità, sempre più spesso Big Data, rendendoli disponibili in maniera efficace per le successive procedure decisionali.

La quantità di dati su cui lavora varia con le dimensioni dell’organizzazione aziendale per cui lavora: più grande è l’azienda, più complessa è l’architettura analitica e più numerosi saranno i dati di cui l’ingegnere sarà responsabile.

Questi ingegneri del software sono responsabili della costruzione di data pipeline per mettere insieme le informazioni da diversi sistemi di origine.

Infine, deve saper costruire, migliorare e progettare interi sistemi di controllo e di data analytics, garantendone la corretta composizione e la qualità delle fonti dalle quali provengono. Il controllo dei dati è fondamentale anche per assicurare a data scientist, data analyst e project manager, un utilizzo attendibile e correttamente verificato.

Le skills e le competenze necessarie

Come si può comprendere, quello del Data engineer è un ruolo assai delicato, perché le questioni cui attiene il mestiere comprendono: la progettazione di database; la conoscenza dei dati e la loro elaborazione; i linguaggi per descrivere i dati, definire l’accesso e manipolare i database; le strategie e i meccanismi di accesso ai dati, la sicurezza e il controllo dell’integrità; i servizi di ingegneria e i sistemi distribuiti.

Per questo devono essere esperti in linguaggi di programmazione come Java, Scala, Python, R, e SQL. Questi ultimi tre sono i più importanti utilizzati dai Data engineer. Anche la conoscenza dei sistemi operativi basati su Unix è importante.

Essi devono avere una buona comprensione degli strumenti ETL (Extract/Transform/Load), sigla che definisce il processo utilizzato per trasformare dati grezzi in informazioni fruibili per creare e gestire i lavori di integrazione dei dati. Queste competenze aiutano anche a fornire agli analisti di dati e agli utenti aziendali un accesso semplificato ai set di dati preparati.

Altrettanto importante è la comprensione del funzionamento di data warehouse e data lake, nonché i i database NoSQL e i sistemi Apache Spark, componenti sempre più comuni dei flussi di lavoro dei dati. Inoltre dovrebbero anche avere una conoscenza dei sistemi di database relazionali, come MySQL e PostgreSQL.

Altro punto importante nel loro bagaglio di competenze è la conoscenza delle piattaforme di business intelligence e la capacità di configurarle. Ciò è importante perché le piattaforme di BI possono stabilire connessioni tra data warehouse, data lake e altre fonti di dati.

Tra le skill del Data engineer vi è anche la conoscenza di metodi quali il Machine Learning per essere in grado di preparare i dati utili per le piattaforme specifiche. L’avvento l’evoluzione dei Big Data e la disponibilità di tool sempre più evoluti e performanti ha profondamente cambiato la natura del lavoro dei data engineer. Per questo devono avere competenze specifiche, anche per sapere come implementare gli algoritmi di ML e ricavarne intuizioni.

Per quanto riguarda il percorso di studi, il Data engineer ha una solida formazione universitaria, in ingegneria informatica. Oggi ci sono corsi di laurea magistrali dedicati al data engineering, e in generale I datori di lavoro richiedono generalmente una laurea in informatica, ingegneria o un campo correlato, e preferiscono anche candidati che abbiano già maturato un’esperienza pluriennale (3-5 anni) nel settore.

Differenza tra data engineer vs data scientist

I data engineer spesso lavorano come parte di un team di analisi insieme ai data scientist. Gli ingegneri forniscono i dati in formati utilizzabili ai data scientist che eseguono query e algoritmi sulle informazioni per applicazioni di analisi predittiva, apprendimento automatico e data mining. I Data engineer provvedono anche a garantire dati aggregati ai dirigenti e agli analisti aziendali e ad altri utenti finali in modo che possano analizzarli e applicare i risultati per migliorare le operazioni aziendali.

Mentre il data engineer si occupa della raccolta, dell’analisi e del data management, scopo invece del data scientist è la gestione dei big data che gli sono stati forniti e la capacità di trarne informazioni rilevanti.

Entrambe le figure sono importanti, anche se, secondo Michel Goetz, principal analyst di Forrester, non è proprio così. Come afferma nel blog della società, pur riconoscendo che la data science è un impegno di alto valore, «tuttavia, senza dati, la data science si trova a un punto morto. Ciò che rende i Data Scientist unici e ben remunerati è che ci si aspetta che sappiano gestire statistica e informatica. Invece, è sbagliato pensare di trovare qualcuno che sia competente sia nell’analitica che nei dati. Tuttavia, dove i Data Scientist non aiutano è l’attivazione dei dati e delle analisi nei nostri processi aziendali, applicazioni e sistemi». È qui che entrano in gioco i data enginer, abili a “manovrare” dati e analytics, sfruttare le strategie e i piani di investimento dei Data Architect. «Essi abilitano l’analitica e la data science. Adottano e attivano le politiche di governance dei dati. Si assicurano che i dati e gli investimenti analitici ottengano il loro pieno ritorno verticalmente e orizzontalmente».

È bene ricordare che tra le principali competenze dell’ingegnere dei dati c’è la sua conoscenza e la sua dedizione verso l’analisi mediante l’utilizzo di strumenti, dispositivi e grafici analitico-matematici. Non solo li utilizza, ma è capace anche di ottimizzarne l’uso, oltre che interpretarli e progettarli.