Tre trappole nei dati di un ecommerce, e come si trovano

Ogni volta che si guarda un confronto fra due periodi c'è la tentazione di fermarsi alla percentuale. È il numero che si mette nella slide, quello che si dice in riunione. Ed è anche il punto in cui si prendono le decisioni sbagliate, perché una percentuale non dice mai da sola se è vera.

Queste tre trappole le abbiamo incontrate tutte e tre lavorando su dati veri di negozi veri. Non sono casi di scuola: sono i modi concreti in cui un numero corretto racconta una cosa falsa.

Prima trappola: il mese che non c'era

Su un negozio, giugno di un anno risultava con 8 ordini e poco più di 900 euro, contro i 34.000 euro dello stesso mese dell'anno dopo. Un aumento di qualche migliaio per cento.

Solo che quel giugno non era un mese brutto: era un mese rotto. Un problema di tracciamento, un cambio di configurazione, qualcosa che ha impedito di registrare quello che succedeva. Le vendite c'erano state, i dati no.

Qualunque confronto che includa quel mese produce percentuali senza senso, e il guaio è che sembrano ottime. Nessuno mette in dubbio un +3.000%: lo si porta in riunione.

Come si trova: prima di calcolare qualunque variazione, guarda la serie mese per mese. Un mese che vale un decimo dei suoi vicini non è un mese debole, è un mese da verificare.

Seconda trappola: non osservato non vuol dire zero

Questa è la più sottile, e colpisce chiunque abbia collegato uno strumento a metà strada.

Se il connettore di una piattaforma pubblicitaria è stato attivato a marzo, i mesi di gennaio e febbraio nel tuo cruscotto risultano vuoti. Vuoti non significa che non è successo niente: significa che nessuno stava guardando. Quelle campagne magari giravano, con la loro spesa e i loro ricavi.

Trattare quel vuoto come uno zero produce crescite spettacolari e completamente inventate. È lo stesso errore del mese rotto, ma è peggiore, perché qui il dato manca per una ragione tecnica che nessuno ricorda un anno dopo.

Come si trova: chiediti sempre da quando esiste il dato, non da quando esiste l'azienda. Se lo strumento dichiara una data di inizio dello storico, quella è la data prima della quale non puoi confrontare niente. E controlla per piattaforma, perché ognuna può essere stata collegata in un momento diverso.

Terza trappola: l'aggregato che è un effetto di mix

La più elegante delle tre, perché non c'è nessun dato sbagliato.

Su un negozio il costo per clic complessivo risultava in calo del 18,8%, con il CTR in crescita del 57,9%. Isolando la singola piattaforma, i valori veri erano -3,6% e +29,4%.

Nessuno dei due calcoli era errato. Quello che era cambiato non era il rendimento: era il peso delle piattaforme nel totale. Una di esse, con un costo per clic strutturalmente bassissimo, nella finestra recente pesava molto di più. Il totale si è spostato verso di lei, e il numero aggregato ha registrato quello spostamento come se fosse un miglioramento.

È lo stesso meccanismo per cui la media dei voti di una classe può salire senza che nessuno studente sia migliorato: basta che cambi chi c'è in classe.

Come si trova: ogni volta che un rapporto (costo per clic, CTR, tasso di conversione, scontrino) viene da una somma di fonti diverse, ricalcolalo per fonte. Se le due versioni divergono molto, la differenza è mix, non merito.

Perché queste tre bastano a rovinare un'analisi

Hanno una cosa in comune: nessuna delle tre produce un errore visibile. Non c'è una casella rossa, non c'è un avviso, il foglio di calcolo non si lamenta. Il risultato è un numero plausibile, spesso lusinghiero, che regge fino a quando qualcuno con i dati in mano non fa una domanda.

Ed è per questo che vale la pena controllarle prima di mostrare una percentuale a un cliente, a un investitore o al proprio team: non per rigore accademico, ma perché la figura peggiore si fa quando il numero l'hai già raccontato.

Domande frequenti

Come faccio a sapere se un mese è rotto o solo brutto?

Guarda più di una metrica insieme. Un mese davvero brutto ha ordini bassi, sessioni basse e spesa coerente. Un mese rotto ha incoerenze: tante sessioni e quasi nessun ordine, oppure spesa normale e conversioni a zero. È l'incoerenza fra metriche il segnale, non il valore basso.

Se manca uno storico, cosa si confronta?

Solo il periodo effettivamente osservato da entrambe le parti. Se hai dati da marzo, il confronto parte da marzo, e lo dichiari. È meno spettacolare e ha il vantaggio di essere vero.

Vale anche per il tasso di conversione?

Sì, ed è uno dei casi in cui l'effetto mix morde di più. Il tasso di conversione complessivo cambia quando cambia la composizione del traffico, anche se nessuna singola sorgente è migliorata. Va guardato per sorgente, sempre.

Quanto indietro conviene guardare?

Abbastanza da vedere una stagione intera, perché quasi ogni ecommerce ha una stagionalità che da sola spiega più della metà delle variazioni. Confronti su finestre corte dicono più sul calendario che sul lavoro fatto.

Come si presenta un dato con un limite noto?

Dichiarandolo accanto al numero, non in una nota a fondo pagina. Una percentuale con la sua avvertenza resta credibile anche quando qualcuno la verifica. Una percentuale senza avvertenza, quando la verificano, porta via con sé anche tutte le altre.