Dietro le quinte di ogni ricerca di mercato si cela un lungo e meticoloso lavoro di trasformazione dei dati grezzi in informazioni utilizzabili. Dopo aver esplorato le figure del Ricercatore di Mercato e del Field Operations, il Comitato Qualità di ASSIRM dedica questo nuovo episodio a un professionista tanto fondamentale quanto poco conosciuto: il Data Processor.

Di cosa si occupa il Data Processor?

All’interno del processo produttivo di un’indagine, uno degli aspetti chiave è rappresentato dalla qualità dei dati raccolti.

Oltre che da una corretta impostazione metodologica in grado di pianificare ogni aspetto della ricerca, la qualità dei dati è assicurata anche da controlli strutturati e ben definiti. I controlli sulla qualità dei dati sono in capo alla figura del data processor.

I controlli avvengono in tre momenti diversi della rilevazione:

1. Controlli ex-ante: i controlli ex-ante riguardano dei vincoli di coerenza sulle risposte che verranno fornite. Solitamente, il data processor individua possibili incoerenze e incongruenze nei dati, ad esempio un dato anomalo o di un formato sbagliato, e definisce le condizioni di controllo;
2. Controlli in itinere: i controlli in itinere vengono ideati dal data processor e successivamente implementati sulla piattaforma di raccolta dati. Questa fase è essenziale per garantire un monitoraggio continuo della qualità della rilevazione: eventuali problematiche riscontrate sui primi dati raccolti possono essere prontamente corrette, evitando che si propaghi un errore sistematico;
3. Controlli ex-post: i controlli ex-post, effettuati alla fine della rilevazione, si applicano all’intero dataset “grezzo” e sono finalizzati a studiare i dati mancanti e gli outliers. Questo passaggio consente di aumentare la qualità dei dati raccolti, individuando risposte che potrebbero compromettere l’analisi finale in termini di interpretazione dei risultati.

In generale, i controlli agiscono sue due fronti contemporaneamente: da una parte si valuta la coerenza della risposta con la domanda fornita, dall’altra si valuta la congruità della risposta stessa rispetto alle altre. In altre parole, si verifica non solo se la risposta ha senso all’interno della singola domanda, ma anche se si armonizza con il resto del questionario e non è in contrasto con le altre risposte.

Tali procedure sono di fondamentale importanza al fine di assicurare la qualità dei dati e, di conseguenza, dell’intero processo produttivo.

La figura del Data Processor, dunque, può essere ricoperta solo da una persona esperta sia sul tema della ricerca che del ruolo professionale stesso, in quanto richiede una profonda conoscenza dei temi di indagine. Tale conoscenza è utile sia in fase di progettazione (nei controlli ex-ante) sia in fase di revisione (ex-post):

• In fase di progettazione, ad esempio nelle domande che prevedono una o più opzioni di riposta, la conoscenza del data processor è fondamentale per definire l’universo delle risposte possibili in modo che l’eventuale risposta “altro” occupi un ruolo marginale in termini di frequenza. Questo accorgimento evita che una cattiva formulazione delle risposte possa tradursi in un eccesso di risposte generiche o difficilmente interpretabili;
• In fase di revisione, il data processor ha il compito di controllare la coerenza e la congruità delle risposte, di ricodificare le eventuali risposte aperte e studiare la distribuzione dei dati mancanti. Su questo aspetto, è fondamentale capire se le mancate risposte siano sistematiche o casuali al fine di progettare un corretto piano di imputazione. Ad esempio, una non risposta sistematica a una domanda potrebbe indicare un problema di formulazione o un errore nella sequenza del questionario.

Inoltre, il data processor ha il compito di effettuare quanto descritto non solo sul campione finale ma anche su un primo campione parziale. Il controllo in itinere, infatti, consente di correggere eventuali distorsioni prima che queste abbiano effetto sulla totalità dei dati raccolti. Questo approccio migliora l’efficienza del processo e previene la necessità di interventi correttivi a posteriori, che spesso risultano più complessi e meno efficaci.

In generale, il ruolo del data processor richiede una persona dotata di precisione, cura dei dettagli, conoscenza dei principali linguaggi di programmazione e, soprattutto, capacità di lavorare in gruppo. Deve, infine, essere una persona propensa allo studio degli argomenti oggetto di indagine.