Acquisizione dei dati (data ingestion)
La fase di una pipeline che riceve i dati dai dispositivi, li valida e li normalizza, e li consegna all'archiviazione o all'elaborazione in modo affidabile e su larga scala.
L’acquisizione (ingestion) è il punto in cui il traffico dei dispositivi incontra il back end. Un broker o un endpoint HTTP accetta il payload, il servizio di acquisizione verifica che sia ben formato, lo decodifica dal formato compatto del dispositivo in qualcosa che le applicazioni possano usare, vi allega metadati di identità e marca temporale e lo scrive in una coda di messaggi o direttamente in un database.
Due cose lo rendono più difficile di quanto sembri. Il volume è a raffiche: una flotta che si riconnette o una finestra di invio giornaliera possono moltiplicare il traffico in pochi secondi, quindi l’acquisizione ha bisogno di buffer e di meccanismi di back-pressure. E i dati sono imperfetti: duplicati, messaggi fuori ordine e letture malformate dovute a un bug del firmware vanno gestiti senza perdere i dati buoni. La pipeline di dati IoT ripercorre le fasi una per una.
Parte del Glossario IoT. Hai trovato un errore o manca un termine? Scrivici.