I Sondaggi Politici. Le Buone Pratiche

La redazione de “I sondaggi politici. Le buone pratiche” è stata curata da Stefano Draghi, docente di Nuove tecnologie digitali all’Università IULM di Milano, su incarico del Comitato Standard di qualità Assirm e sotto la supervisione di Edoardo Lozza, Professore ordinario di Psicologia del marketing e dei consumi e di Psicologia economica all’Università Cattolica del Sacro Cuore di Milano. Un particolare ringraziamento va a Maurizio Pessato per il contributo che, grazie alla sua esperienza sul tema, ha dato alla realizzazione di questo documento, approvato dall’ Assemblea degli Associati Assirm il 13 Giugno 2019.

A differenza degli antichi straw polls e della ricerca di mercato contemporanea, il sondaggio politico è parte rilevante della sfera pubblica e componente vitale del processo democratico. Le sue funzioni fondamentali di legittimazione degli attori politici, di formazione dell’agenda politica e soprattutto di formazione del consenso sollecitano la definizione di standard di qualità più elevati a maggior tutela del ruolo che l’opinione pubblica ha nei sistemi liberal-democratici e della reputazione degli istituti di ricerca.
1. OGGETTO, OBIETTIVO E RICHIAMO NORME DI QUALITÀ ASSIRM |||Oggetto delle buone pratiche proposte in questo documento sono tutti i sondaggi condotti sugli orientamenti politici e di voto degli elettori e più in generale su argomenti politici. Non riguardano metodi e tecniche di anticipazione dei risultati elettorali realizzate con interviste all’uscita dei seggi (exit-polls) o a urne chiuse sullo spoglio delle schede in un campione di sezioni (proiezioni elettorali). Né metodi di previsione dell’esito delle elezioni, anche se basati esclusivamente su sondaggi politici.

Obiettivo delle buone pratiche è quello di rendere evidenti e verificabili ai competenti e al pubblico le differenze tra sondaggi professionali e non professionali e garantire il massimo della qualità, compatibilmente con le risorse disponibili, nelle seguenti fasi della ricerca

– impostazione del questionario, ordine e forma delle domande
– campionamento
– elaborazione dei dati

Valgono anche per i sondaggi politici tutte le vigenti “Norme di qualità Market and Social Research” adottate da ASSIRM . Le buone pratiche qui proposte vanno quindi intese come aggiuntive. Molte delle pratiche qui proposte si possono estendere a tutta la ricerca sociale e di mercato, ma assumono particolare rilievo nel caso dei sondaggi politici.

Le proposte riguardano tutti i sondaggi politici condotti con metodo campionario e tramite interviste individuali (CAPI, CATI, CAMI, CAWI, ecc.), sia riservati che destinati alla pubblicazione. Le regole a cui si dovrebbero attenere i media nella pubblicazione dei sondaggi politici non sono comprese in questo documento, ma sarebbe assai importante arrivare alla stesura di un codice condiviso almeno per la presentazione dei risultati, come avviene ad esempio nei paesi anglosassoni . Ovviamente si estende al settore politico il “divieto di condurre attività di promozione e comunicazione pubblicitaria di beni e servizi, di marketing diretto e telemarketing, di commercializzazione, distribuzione e vendita” (Statuto ASSIRM, art.2), che potrebbero assumere la forma di push polling o di negative campaigning.

Per ciascun sondaggio politico l’Istituto compila una Scheda di Qualità ASSIRM (SQA) in cui registra tutte le operazioni effettuate per assicurare il massimo di conformità del sondaggio alle buone pratiche ASSIRM per i sondaggi politici. La scheda SQA è inserita e conservata nella cartella di lavoro del progetto di ricerca.

Le SQA (o una loro sintesi) possono essere rese disponibili sul sito dell’Istituto o dell’Assirm senza limitazioni di accesso. La possibilità di accedere alla SQA andrebbe comunque garantita se il sondaggio politico è destinato alla pubblicazione.|||2. IL QUESTIONARIO: NUMERO, FORMA E SUCCESSIONE DELLE DOMANDE|||2A. NUMERO DI DOMANDE E DURATA DEL QUESTIONARIO

Un problema assai frequente che riguarda i sondaggi politici è che sono spesso condotti su temi di stretta attualità (“instant poll”) e il committente impone tempi di esecuzione della ricerca molto limitati e spesso anche un budget assai ridotto. In questi casi ne può risentire anche fortemente la qualità dei risultati, perché tempi stretti per l’impostazione del questionario impediscono l’esecuzione di test pilota e un numero ridotto di domande non permette di articolare il questionario in modo tale da irrobustire la validità e l’attendibilità delle risposte, ad esempio con domande filtro e eventuali percorsi di domande diversificate . Il rischio, elevato, è quello di registrare opinioni molto volatili, superficiali o che nascono al momento stesso della domanda, e di raccogliere molti “non so” o molte risposte “incerto/indeciso” o orientamenti (come ad esempio le intenzioni di voto) di cui non è possibile valutare la solidità e l’intensità e di cui è incerta o indefinita la probabilità di trasformarsi in comportamenti conseguenti. Le stesse considerazioni valgono se una/poche domande politiche vengono inserite in questionari di tipo omnibus.

In questi casi l’Istituto, per garantire lo standard di qualità della rilevazione, proporrà al Committente in fase di brief un questionario e un test pilota in grado di limitare il rischio che gli errori di misurazione (derivanti dall’impossibilità di verificare validità e attendibilità delle domande) possano produrre errori sistematici di entità non valutabile. L’Istituto segnalerà inoltre al Committente il rischio che tali errori possano sommarsi agli errori di campionamento, portando l’errore totale della rilevazione a livelli inaccettabili, e comunque non valutabili. Se il Committente ritiene di non dover accettare le proposte dell’istituto, può dichiararlo in modo esplicito. Tale dichiarazione è inserita nella scheda SQA del progetto di ricerca.

2B. LA FORMULAZIONE DELLE DOMANDE

I sondaggi politici “riguardano quasi sempre argomenti sui quali gli intervistati possono avere un livello molto diverso di conoscenza e di interesse, opinioni e punti di vista in via di formazione, inconsistenti, provvisori e soggetti a cambiare” . Si tratta di opinioni, motivazioni, orientamenti, intenzioni, aspettative, sentimenti, valutazioni, giudizi e valori che riguardano oggetti a volte complessi e sensibili. Per queste ragioni in un questionario su temi politici va tenuta in particolare considerazione la pur ovvia affermazione che il modo in cui una domanda viene formulata può influenzare la risposta. I manuali di metodologia della ricerca riportano innumerevoli esempi di come possono cambiare – e di molto – i risultati con modifiche anche piccole nel wording delle domande. Se non è possibile formulare regole precise, si possono però indicare principi generali a cui attenersi.

– Usare un linguaggio semplice, accessibile a tutti, per evitare risposte a caso di chi non capisce un termine o non conosce l’argomento
– Formulare domande concise, non troppo lunghe.
– Minimizzare il numero di alternative di risposta
– Evitare termini ambigui e espressioni gergali
– Non utilizzare parole cariche di emotività, soprattutto se negative
– Evitare domande con doppia negazione
– Preferire le formulazioni di segno positivo a quelle negative
– Evitare domande “doppie” o a risposta non univoca
– Evitare domande tendenziose, a risposta pilotata o che segnalano un’aspettativa di risposta da parte dell’intervistatore
– Non dare per scontati comportamenti o conoscenze che non lo sono, utilizzando opportune domande “filtro”
– Preferire le domande concrete a quelle astratte

In merito alla formulazione delle domande altri punti sono rilevanti e in particolare:

i. il problema della mancanza di opinioni
ii. la misura dell’intensità degli atteggiamenti
iii. la desiderabilità sociale delle risposte

i. Nei sondaggi politici agli intervistati vengono spesso sottoposte domande su temi complessi, la cui conoscenza e comprensione può richiedere competenze specialistiche e comunque non banali, come quelle che fanno riferimento a questioni economiche o giuridiche. O domande che richiamano eventi, problemi o personalità che l’intervistato semplicemente non conosce o di cui non è al corrente. In questi casi la dinamica dell’intervista può creare una pressione a rispondere che spinge gli intervistati a esprimere un giudizio anche senza avere un’opinione in proposito.

In un sondaggio di qualità le domande di tipo valutativo sono rivolte solo a coloro che dimostrano di conoscere l’oggetto della domanda, che sarà pertanto preceduta da una domanda-filtro di tipo cognitivo. Le risposte “non so”, “non conosco” sono componenti naturali e legittime dell’opinione pubblica e devono essere ben visibili nella presentazione dei risultati. Evitando di mischiare tra le risposte valide quelle motivate e competenti con quelle date a caso o che nascono al momento stesso della domanda, si otterranno risultati meno volatili e più robusti.

ii. Analogo ragionamento può essere fatto per quanto riguarda l’intensità degli atteggiamenti, che “è importante saper cogliere […] perché è quella che poi determina il comportamento […] Anche in questo caso la rilevazione dell’intensità di un atteggiamento non può essere affidata semplicemente ad una più appropriata formulazione della domanda, ma necessita di un approfondimento attraverso domande ulteriori”.

iii. Meno rilevante per i sondaggi politici, ma da tenere comunque presente, è la questione della desiderabilità sociale delle risposte. Il controllo sociale che agisce nell’interazione tra intervistato e intervistatore può spingere quest’ultimo a dare risposte che ritiene più “accettabili” da parte del suo interlocutore . Nell’issue polling questo effetto si può manifestare in domande che riguardano temi sociali o sensibili di rilevanza politica, ma tende a produrre un bias di modesta entità se si tiene presente che il sondaggio ha proprio lo scopo di misurare la forza delle correnti che investono l’opinione pubblica.

2C. LA SUCCESSIONE DELLE DOMANDE E L’EFFETTO CONTAMINAZIONE

Anche la posizione di una domanda all’interno di un questionario può condizionare le risposte. In aggiunta alle regole generali che vanno tenute presenti e riguardano qualsiasi tipo di intervista con questionario , va evitato il cosiddetto effetto contaminazione che si determina quando una domanda è preceduta da una o più altre domande che possono influenzare la risposta. È possibile in questo modo “pilotare” le risposte a una domanda e mascherare l’effetto di contaminazione non pubblicando le domande “contaminanti”.

Effetti analoghi si possono ottenere con l’uso di batterie di domande, che possono facilitare l’espressione di pseudo-opinioni (v. supra) e produrre un effetto distorsivo noto come response set . Al problema, ben noto, si fa fronte alternando la polarità delle modalità di risposta (“controscalatura”).

Per verificare la presenza di possibili effetti di contaminazione e di response set è indispensabile che il testo completo del questionario sia pubblicato in appendice alla SQA.

Se la formulazione delle domande e la loro sequenza sono proposte dal Committente, l’Istituto si riserva di valutarne la conformità agli standard Assirm e di proporre modifiche o alternative praticabili. Le controproposte dell’Istituto sono riportate nella SQA.|||3. DIGRESSIONE SUI CONCETTI DI NOTORIETÀ, POPOLARITÀ E CONSENSO|||Molte delle variabili che un sondaggio politico ha l’obiettivo di misurare fanno riferimento ai concetti di notorietà, popolarità e consenso, riferiti sia a personalità politiche che a partiti o istituzioni. I primi due concetti, notorietà e popolarità, riferiti a attori politici, dovrebbero essere tenuti separati per evitare che vengano impropriamente scambiati. Notorietà si riferisce alla percentuale di intervistati che conoscono, sanno chi è/che carica o ruolo ricopre/il soggetto della domanda. Il concetto di popolarità include quello di notorietà, ma vi aggiunge una connotazione generalmente positiva. La notorietà si misura, in diversi modi, con domande di tipo cognitivo, la popolarità con domande di tipo valutativo. Misurare la notorietà e proporla come popolarità, o addirittura consenso, è una forzatura semantica che comporta sempre un errore di validità, errore sistematico che può essere anche di notevole entità .
Un sondaggio politico di qualità separa la rilevazione della notorietà da quella del giudizio, con domande diverse, anche opportunamente filtrate. Indipendentemente da come le due dimensioni vengono rilevate . Misure ripetute dello stesso concetto rafforzano l’attendibilità della misurazione, mentre aumenta la sua validità la costruzione di indici (notorietà + giudizio = popolarità) di tipo additivo o moltiplicativo. L’adozione di questi criteri di rilevazione permette anche una efficace rappresentazione grafica del posizionamento dei soggetti nello “spazio” della popolarità, come esemplificato nella Figura 1 . |||4. IL CAMPIONAMENTO |||Il sondaggio politico non presenta problemi di campionamento diversi da quelli di qualsiasi altra ricerca sociale e di mercato. Un numero elevato di casi e una accurata stratificazione garantiscono in genere la bontà del campione, cioè la sua rappresentatività statistica, e margini ridotti delle stime campionarie, almeno della componente random.

La popolazione di riferimento per i sondaggi politici viene fatta coincidere convenzionalmente con quella degli elettori (aventi diritto al voto) che corrisponde in larga misura con la popolazione residente di 18 anni e oltre. L’utilizzo di quest’ultima per il piano di campionamento di un sondaggio politico comporta modesti svantaggi sul fronte della rappresentatività, mentre consente, grazie alla disponibilità dei dati istituzionali sulla popolazione, un’accurata stratificazione del campione.

4A. LA NUMEROSITÀ DEL CAMPIONE

Nella pratica della ricerca si ritiene che un sondaggio politico (nazionale, ma anche locale), per stimare ad esempio una percentuale, possa essere condotto su un campione di 1.000 casi con sufficiente accuratezza. Nel caso di un campione casuale semplice (a puro titolo di esempio) il margine di errore campionario si collocherebbe attorno al ±3%. Cioè se la stima campionaria (ad esempio la percentuale di intervistati che apprezza il candidato X o il ministro Y) è pari al 40%, ciò significa che il valore “vero” nella popolazione è compreso tra 37% e 43% con almeno 95 probabilità su 100. Un margine forse sopportabile nell’issue polling, assai meno in un sondaggio preelettorale sulle intenzioni di voto ai partiti.

Aumentare la numerosità del campione per ridurre il margine di errore è una strategia costosissima e di fatto impraticabile. Per scendere dal 3 al 2% bisognerebbe quasi triplicare la numerosità del campione, come mostra il grafico della Figura 2. Soluzione improponibile nella maggior parte dei casi, e ancor più nel caso dei sondaggi politici che possono normalmente far affidamento su budget molto limitati. L’ alternativa è una precisa e appropriata stratificazione del campione e un accurato controllo sui meccanismi di autoselezione del campione.

In linea di principio campioni inferiori ai 1.000 casi, se non in casi limitati e particolari, sono quindi da ritenersi di qualità inferiore allo standard ASSIRM, sia a livello nazionale che locale.

La numerosità del campione è comunque una variabile decisiva per la qualità del sondaggio politico. Nei sondaggi preelettorali perché è pur vero che un campione più ampio non contribuisce molto alla riduzione dell’errore campionario, ma in genere – se associato a un questionario più articolato – consente di ridurre l’incertezza delle stime con opportune tecniche di analisi dell’area del non voto , ma soprattutto degli elettori indecisi o reticenti dai quali dipende in sostanza la bontà delle “previsioni” .
Ma anche nell’issue polling un campione numericamente robusto è condizione determinante della qualità del sondaggio, perché di norma i risultati vengono presentati in tavole bidimensionali e in questi casi l’errore delle stime campionarie relative alle sottocategorie aumenta perché l’aumento dell’errore derivante dalla diminuzione del numero di casi non è mai o quasi mai compensato da una diminuzione di pari entità indotta dalla riduzione della varianza interna. Ne deriva un’incertezza nell’interpretazione delle differenze tra i dati delle sottocategorie, in genere poi neppure sostenuta da calcoli di significatività statistica.

4B. CAMPIONI PROBABILISTICI E NON, MULTICANALITÀ

Il ricorso al campionamento probabilistico (legato soprattutto all’utilizzo del telefono fisso) è ormai in molti casi superato dalla pratica della ricerca, che fa largo uso di canali alternativi per l’esecuzione delle interviste. Tutti i “campioni” (o “sotto campioni”) che si ottengono da popolazioni di cui è incerta la stima della numerosità e della composizione sono campioni per definizione non probabilistici e come tali non potrebbero dare alcuna garanzia scientifica sulla generalizzabilità dei risultati alla popolazione degli elettori.

L’uso di campioni probabilistici è quindi ancora preferibile quando l’esigenza di assicurare che i risultati rientrino entro un certo intervallo di confidenza (non calcolabile nei campioni non probabilistici) prevale su quella della più elevata precisione possibile delle stime. Così ad esempio in un sondaggio sulle intenzioni di voto non avrebbe molto senso garantire che la percentuale di voti stimata per un partito sia il 5% con un intervallo del ±3%, mentre lo avrebbe in un issue poll che stima al 50% il giudizio positivo degli elettori su un determinato provvedimento.

Da molto tempo per la verità nella pratica della ricerca sociale e politica l’uso di campioni non probabilistici, o di disegni di ricerca misti, ha dato risultati comparabili, in termini di accuratezza delle stime, a quelli ottenuti con procedure di random sampling. La pratica non ha quindi controindicazioni per un sondaggio di qualità, soprattutto se è finalizzata all’aumento della numerosità campionaria. L’uso anche parziale di campioni non probabilistici (auto-selezionati, con compenso, panel internet, ecc.) va quindi chiaramente indicato e documentato nella SQA, riportando per ciascuno numerosità, criteri di autoselezione (opt-in) e stratificazione.

4C. LA STRATIFICAZIONE DEL CAMPIONE

Almeno nella situazione italiana le correlazioni tra orientamenti politico-elettorali e variabili sociodemografiche sono piuttosto deboli, se non quella della distribuzione territoriale del voto. Per questo nei sondaggi politici la stratificazione del campione in base a queste sole variabili porta in genere modesti margini di miglioramento delle stime campionarie.

L’alternativa di qualità è quella di aggiungere ai criteri di stratificazione tradizionali almeno una variabile politica, di solito un precedente comportamento di voto a un’elezione o a un referendum, anche se questa soluzione può aggravare tempi e costi per il completamento della campagna di interviste e la chiusura delle “quote”. Infatti la domanda “Può dirmi come ha votato alle ultime elezioni?” implica sempre un errore sistematico derivante da quell’effetto noto come “spirale del silenzio”, effetto mediatico che tende appunto a “silenziare” i comportamenti “perdenti” o le opinioni minoritarie .
L’effetto spirale del silenzio si manifesta non solo con una maggiore reticenza a dichiarare il proprio comportamento di voto passato, ma anche nell’autoselezione degli elettori che concedono l’intervista. Tenerlo sotto controllo con la stratificazione del campione è quindi condizione dirimente per valutare la qualità del sondaggio.

Un secondo elemento da tenere in considerazione perché può creare un insidioso bias nella composizione del campione è il livello di istruzione dell’intervistato. È noto, e ciò vale per tutte le ricerche sociali, ma non solo, che la propensione a rispondere è proporzionale al livello di istruzione e può essere molto difficoltoso ottenere un campione correttamente proporzionato in termini di titolo di studio dell’intervistato.
Poiché riempire tutte le quote può rilevarsi impraticabile a causa dei tempi e dei costi, si potrà chiudere la fase di rilevazione quando la somma degli scarti in valore assoluto tra valori ponderati e non, non superi i 10-15 punti percentuali, lasciando poi alla ponderazione il compito di ridurre al minimo questo valore.

4D. LA PONDERAZIONE DEI DATI

Per la ponderazione dei dati si utilizza la procedura di sample balancing su tutti i criteri di stratificazione utilizzati. È una procedura iterativa di ponderazione del campione che riequilibra contemporaneamente le distribuzioni di tutte le variabili di stratificazione e minimizza gli scarti dalle distribuzioni della popolazione con l’utilizzo dell’algoritmo di Stephan-Deming.

La SQA riporta la procedura di sample balancing utilizzata e per ciascuna modalità delle variabili di stratificazione il valore del parametro della popolazione, il valore campionario non ponderato e quello ponderato. Meno rilevante, e forse non consigliabile nel caso dei sondaggi politici, è la ponderazione in base al canale utilizzato per l’intervista (CATI, CAMI, CAWI). L’utilizzo di formule, come ad esempio quella riportata nella figura seguente, può eventualmente essere utilizzata prima della ponderazione in base alle variabili sociodemografiche e politiche. |||5. I SONDAGGI SULLE INTENZIONI DI VOTO |||I sondaggi preelettorali sulle intenzioni di voto, pubblicati con gran risalto da giornali e tv e inevitabilmente interpretati come previsioni (soprattutto in imminenza delle elezioni, ma non solo) , sono per i non esperti una prova della validità scientifica della teoria statistica del campionamento e dell’attendibilità delle rilevazioni tramite intervista. Sono quindi la principale (se non l’unica) fonte che rassicura sull’attendibilità dei risultati di tutte le ricerche sociali e di mercato. Anche per questo, pur essendo i sondaggi politici in genere una piccola parte del lavoro degli istituti, un insuccesso delle previsioni elettorali effettuate con sondaggi (e ancor più gli exit polls) può essere molto negativo per l’attendibilità presso i media e il grande pubblico delle tecniche di intervista e dei metodi di campionamento e per l’immagine degli istituti, con ripercussioni in tutta l’area della ricerca sociale e di mercato.

Sembra quindi ragionevole pretendere che un sondaggio sulle intenzioni di voto abbia standard di qualità anche superiori a quelli di un issue poll. Ma la definizione di tali standard non è facile né univoca.

Il primo problema per i sondaggi sulle intenzioni di voto è quello della definizione della popolazione di riferimento, che in teoria dovrebbe essere la popolazione residente da 18 anni in poi con diritto di voto (alla Camera). In realtà ottenere un campione proporzionale per tutti gli elettori è praticamente impossibile, perché, qualunque sia il canale di reclutamento, il processo di autoselezione del campione che deriva dalla volontarietà dell’intervista determina una sotto rappresentazione degli elettori marginali, meno interessati o coinvolti nella politica e che dunque tenderanno a rifiutare l’intervista o a rispondere in modo reticente. Sono questi poi in larga misura gli stessi elettori che non andranno a votare, che non daranno un voto valido o che non risponderanno alla domanda sulle intenzioni di voto.

È pur vero che è sempre possibile insistere fino a quando non viene riempita anche la quota dei non votanti (ad esempio alle precedenti elezioni per ponderare correttamente il campione), ma è un’operazione giudicata il più delle volte inutile e dispendiosa, perché comporta tempi più lunghi e costi più elevati per ottenere interviste in larga misura non utilizzabili per la stima delle intenzioni di voto . Anche per questo motivo è in genere necessario stratificare e ponderare per una variabile di precedente comportamento elettorale, pur sapendo della possibilità di introdurre una fonte di errore se è forte l’effetto “spirale del silenzio”.

Con il procedimento tradizionale le stime percentuali delle intenzioni di voto ai singoli partiti o candidati si ottengono utilizzando solo i voti validi, cioè solo le intenzioni di voto dichiarate. È questa una possibile fonte di errore perché tali stime sono basate su tre assunzioni spesso non esplicitate

• i non votanti sono gli stessi della precedente elezione
• è nullo l’effetto “spirale del silenzio”
• è uguale la distribuzione delle intenzioni di voto degli elettori reticenti e non
a cui si aggiunge il maggior margine di errore campionario derivante dalla notevole diminuzione del campione. Tra intervistati non votanti, reticenti e indecisi il campione originario di 1000 casi si può anche ridurre della metà, facendo così salire il solo margine di errore campionario a oltre il ±4,5%.

La qualità di un sondaggio sulle intenzioni di voto si misura in primo luogo sul metodo utilizzato per far fronte a queste possibili fonti di distorsione, che se si aggiungono a un elevato errore campionario possono portare il total survey error a valori incompatibili con la finalità stessa della ricerca. Ciò è vero a maggior ragione se il sondaggio è condotto a ridosso di una tornata elettorale, quando il valore previsivo dei dati è più difficilmente negabile.

Rispetto a quello tradizionale prima richiamato, i metodi utilizzati per una più accurata stima delle intenzioni di voto possono essere diversi e anche egualmente apprezzabili. Piuttosto che l’uso dell’una o dell’altra tecnica, a rivelare la qualità del sondaggio sarà la presenza nel questionario di domande formulate appositamente per la determinazione della base di calcolo e la profilazione degli elettori reticenti e indecisi.
In queste operazioni ciascun istituto di ricerca dovrebbe avere la libertà di adottare le soluzioni che ritiene più appropriate con l’unico vincolo, se tiene al giudizio di qualità, di presentarle nella SQA nel modo più chiaro e completo possibile.