Originating author is Christiane Rousseau.
È molto rischioso cambiare troppi numeri in certe affermazioni finanziarie se non si conosce un po’ di matematica. Infatti, molto spesso i numeri che compaiono in affermazioni finanziarie seguono una certa strana regola matematica, chiamata legge di Benford o legge della prima cifra significativa. Se non si segue la regola allora i numeri falliranno certi test statistici e sarà probabile che siano analizzati con cura.
La legge di Benford afferma che se si collezionano numeri in maniera casuale e si calcolano le frequenze delle loro prime cifre significative, i numeri con come prima cifra significativa dovrebbero apparire circa il % delle volte, mentre i numeri con come prima cifra significativa appaiono solo % delle volte. Questa regola si può osservare in molte altre serie di numeri come le potenze di e i numeri di Fibonacci.
Perché?
Ora, abbiamo spiegazioni soddisfacenti che stiamo per condividere con voi.
La legge di Benford riguarda la distribuzione delle prime cifre significative dei numeri. La prima cifra significativa di un numero positivo è la cifra non nulla più a sinistra della sua espressione decimale. Per esempio, la prima cifra significativa di è , quella di è e quella di è . Un altro modo per definirla, che sarà utile per la nostra discussione matematica, è scrivere un numero reale positivo come un numero moltiplicato per una potenza di :
Quindi la prima cifra significativa di è la parte intera di , che può essere denotata con . Il numero is called the mantissa di . Affermiamo, ora, che se si collezionano numeri in modo casuale e si calcola la frequenza della prima cifra significativa , allora è data approssimativamente da . Questo fornisce le frequenze:
Figura 1: Frequenze della legge di Benford
Diamo ora una breve nota storica. Il fenomeno fu scoperto per la prima volta dall’astronomo Simon Newcombe (1835-1909) che notò che le prime pagine delle tavole logaritmiche corrispondenti alle prime cifre significative piccole sembravano molto più consumate delle ultime pagine. La sua scoperta fu dimenticata e la legge fu riscoperta da Frank Benford (1883-1948) intorno al 1938. Frank Benford collezionò decine di migliaia di numeri da tutte le origini che seguono la sua legge. Il data base moderno di Simon Plouffe che contiene milioni di costanti matematiche segue anch’esso la legge di Benford.
Anche molti insiemi di numeri che non sono casuali seguono la legge di Benford. Questo è il caso delle popolazioni di nazioni, delle aree di nazioni, delle lunghezza dei fiumi… Forse potreste fermarmi e iniziare ad essere scettici… In quali unità di misura sono collezionate queste lunghezze ed aree? Le lunghezze sono espresse in miglia o in chilometri? Questo non ha importanza… Se le lunghezze dei fiumi in chilometri seguono la legge di Benford, allora le lunghezze in miglia seguono la legge di Benford! Un cambiamento di unità corrisponde a un cambiamento di scala. Vedremo che la legge di Benford è invariante per cambiamenti di scala. Inoltre, è l’unica legge di probabilità invariante per cambiamenti di scala.
Nell’introduzione, vi ho detto che i numeri di Fibonacci seguono la legge di Benford. Ma, in un certo senso, la legge di Benford è soggettiva, poiché dipende dalla base 10 in cui scriviamo i numeri. In una qualche base con , le cifre non nulle sono degli elementi dell’insieme , e la legge di Benford in base afferma che la frequenza della prima cifra significativa è . Bene! I numeri di Fibonacci seguono la legge di Benford in una qualunque base ! La legge di Benford è invariante per cambiamenti di base. È la sola legge di probabilità non banale invariante per cambiamenti di base.
È tempo di dare spiegazioni. Esse richiederanno che vi ricordiate qualcosa del vostro corso di probabilità . Ma potreste preferire di sperimentare inizialmente da voi stessi prima di iniziare a leggere della matematica più seria.
1. Invarianza sotto il cambiamento di scala
Consideriamo un semplice cambiamento di scala ottenuto moltiplicando tutti i numeri di un insieme di numeri per . Se consideriamo i numeri con come prima cifra significativa, allora essi vengono cambiati in numeri con o come prima cifra significativa. È facile verificare che . Infatti,
In modo analogo, potreste verificare che , etc. In modo analogo, potreste verificare che ? Come affermato, la legge di Benford è troppo restrittiva e occorre generalizzarla. Che cosa significa che la prima cifra significativa è ? Significa che la mantissa appartiene all’intervallo . Quindi, la legge di Benford è una distribuzione parziale di probabilità della mantissa. La legge di Benford generalizzata alla mantissa (che, con abuso di linguaggio, chiameremo legge di Benford) è data da una funzione di densità sull’intervallo . Quando prendiamo un numero casuale, possiamo calcolarne la sua mantissa. Questo ci dà una variabile casuale che assume valori in Diciamo che essa segue la legge di Benford se la sua funzione di densità è data da
Se rappresenta la probabilità che , allora ciò significa che dobbiamo avere
È davvero una generalizzazione della legge di Benford, poiché
Che cosa vuol dire che una variabile casuale su è invariante per cambiamenti di scala? Significa che, se è un numero reale positivo e se consideriamo la variabile casuale , then the mantissa allora la mantissa della variabile casuale ha la stessa funzione di densità di . Non è difficile mostrare che questo è il caso di quando segue la legge di Benford, ma ci sono molti casi da distinguere che dipendono dalla grandezza di . Vedremo uno di questi casi e vi lasceremo da fare gli altri. Possiamo scrivere , con la mantissa di . Poiché la mantissa di è la stessa di , è sufficiente considerare il caso .
Qual è lo strumento per mostrare ciò? Potreste ricordare dal vostro corso di probabilità che, per una variabile casuale continua, la funzione di distribuzione (cumulativa) è talvolta più utile della funzione di densità per una variabile casuale continua. La funzione di distribuzione di una variabile casuale è definita da
Se segue la legge di Benford, allora la sua funzione di distribuzione è data da
(1)
Quindi, dobbiamo mostrare che se segue la legge di Benford e è la mantissa di per , allora la funzione di distribuzione di M è data da (1).
A questo scopo, dobbiamo calcolare per . è la mantissa di che assume valori nell’intervallo . Quindi , quando e quando Il primo caso accade quando . L’unica possibilità affinché la mantissa di appartenga all’intervallo è che . Allora la mantissa di è uguale a .
Quindi,
come atteso. Gli altri casi si trattano allo stesso modo.
Il reciproco è più interessante…
2. La legge di Benford è la sola legge di probabilità sulla mantissa invariante per cambiamenti di scala
Sembra un’affermazione sorprendente! Tuttavia, si vedrà che la sua dimostrazione non è molto più complicata della precedente argomentazione. Sia una variabile casuale che rappresenta la mantissa e che assume valori nell’intervallo . Cerchiamo la sua funzione di distribuzione , sotto l’ipotesi che sia invariante per cambiamenti di scala. Allora, dobbiamo calcolare
Quindi, dobbiamo avere and .
La difficoltà principale della dimostrazione è capire cosa significhi che è invariante per cambiamenti di scala. Poiché e sono gli stessi eventi, allora abbiamo che
(2)
Come prima, consideriamo il caso di un qualche così che ( dipende da ). Allora, per , è uguale alla sua mantissa. Poiché è invariante per cambiamenti di scala, allora la mantissa di ha la stessa funzione di distribuzione di . Quindi,
Combinando quest’ultima relazione con la (2), si nota che soddisfa a
(3)
a condizione che non sia troppo grande. Dobbiamo trovare dall’ equazione funzionale (3). Vediamo come farlo. Se poniamo si ha che
che può essere scritto
poiché . Consideriamo il limite quando . Dobbiamo riconoscere in ciascuno dei due membri un quoziente il cui limite è una derivata. In particolare, a primo membro il è , mentre nel membro di destra il è . Quindi, abbiamo l’equazione differenziale a variabili separabili
la cui soluzione è . Poiché abbiamo e poiché , allora . Quindi, e abbiamo finito!
3. Perché i numeri collezionati da tutte le origini seguono la legge di Benford?
Una risposta fu fornita da Theodore Hill nel 1995; discuteremo brevemente la sua idea. Sicuramente, non tutti gli insiemi di numeri seguono la legge di Benford. Per esempio, se si considera l’altezza in metri degli esseri umani allora, salvo poche eccezioni, compaiono soltanto le prime cifre significative e e se si converte l’altezza in piedi (un piede corrisponde circa a cm) cambierà la legge di distribuzione della prima cifra significativa. Di conseguenza, questo insieme di numeri non è invariante per cambiamenti di scala. Ma, supponiamo di considerare un insieme grande di numeri presi tra tutte le origini e operiamo un cambiamento di scala. Ci sono diversi sottoinsiemi di numeri con la loro particolare scala. Poiché l’insieme è grande e i numeri provengono da tutte le origini, allora è probabile che siano presenti tutte le differenti scale. Moltiplicare tutti i numeri presenti nell’insieme per una costante positiva induce una permutazione delle scale presenti nel nuovo insieme. Così, in generale, potremmo aspettarci che l’insieme di numeri si comporti come se non avesse alcuna scala speciale. Quindi, esso seguirà la legge di Benford.
Questa è una buona spiegazione per gli insiemi di numeri presi da tutte le origini. Ma non spiega perché le aree delle nazioni, le popolazioni di nazioni o le lunghezze dei fiumi dovrebbero seguire la legge di Benford. Per questo caso discuteremo spiegazioni molto recenti (del 2008!) date da Gauvrit, Delahaye e Fewster. La loro spiegazione è anche valida per grandi insiemi di numeri presi tra tutte le origini.
4. È probabile che insiemi di numeri che comprendono diversi ordini di grandezza seguano la legge di Benford!
Stiamo lavorando in base e abbiamo visto che i numeri positivi possono essere scritti come dove e . Potremmo considerare come l’ ordine di grandezza e dire che esistono diversi ordini di grandezza se esistono diversi valori di per il nostro insieme di numeri (notiamo che una tale proprietà è invariante per cambiamenti di scala!). Per semplificare la spiegazione, supponiamo che i numeri appartengano all’intervallo . Quindi, i numeri con come prima cifra significativa sono quelli nell’insieme
e negli insiemi simili con le altre cifre. È meglio passare al logaritmo in base di questi numeri: . Allora . Mostriamo che, se una variabile casuale su segue la legge di Benford, allora la variabile casuale è semplicemente uniforme su . A tale scopo, è sufficiente mostrare che la funzione di distribuzione di Z è quella della variabile casuale uniforme su cioè
In effetti, quando ,
Se appartiene all’insieme , allora appartiene all’insieme :
e analogamente per le altre cifre. Supponiamo che il prendere un numero casuale nel nostro insieme sia una variabile casuale che assume valori nell’intervallo . Allora assume valori nell’intervallo . Si ricordi che la probabilità che una qualche variabile casuale appartenga ad un qualche insieme è data dall’area sottesa al grafico della funzione di densità sull’insieme. Se la funzione di densità di sull’insieme fosse uniforme come in Figura 4(a), avremmo già concluso. Il più delle volte, comunque, ciò non si presenterà, come mostrato in Figura 4(b). Ecco perché è così importante che l’insieme dei numeri originario comprenda diversi ordini di grandezza. Le diverse porzioni corrispondenti ad una data prima cifra significativa sono distribuiti orizzontalmente su diversi segmenti, la somma delle cui lunghezze è dell’ordine di dell’ampiezza totale. Quindi, anche se l’altezza di non è la stessa da un segmento all’altro, si potrebbe sperare che l’altezza media sia dello stesso ordine di grandezza per le varie cifre. Quando questo capita, allora i dati seguono la legge di Benford.
5. Come si verifica se un insieme di numeri segue la legge di Benford?
Se avete seguito un corso di statistica, allora avete probabilmente studiato il test del per la bontà del campione. Questo test permette di testare se certi dati seguono una certa distribuzione di probabilità. Supponiamo che vogliate fare il test con un insieme di numeri. Dovete solo costruire una tabella in cui rappresenti il numero dei numeri del vostro insieme che hanno come prima cifra significativa. Di certo, . Gli rappresentano i numeri di numeri che dovrebbero avere come prima cifra significativa se il vostro insieme seguisse la legge di Benford, cioè .
Figura 6: La tabella per il test del 2 per la bontà del campione
Quindi, si calcola
e si guarda in una tabella del nella linea corrispondente a gradi di libertà. Se si vuole fare il test con il % di errore, allora, se , si accetta che i dati soddisfino la legge di Benford, altrimenti lo si rifiuta. Questa è una ricetta veloce, ma per fare questo tipo di test con gli studenti occorre spendere del tempo per familiarizzare coi dettagli del test e il suo significato.
6. Invarianza della legge di Benford per cambiamenti di base
Tale invarianza potrebbe essere modellizzata in modo analogo a quella per cambiamenti di scala. Tuttavia è una questione più delicata, perché non possiamo limitare il nostro lavoro alla mantissa. Infatti, se , allora anche la parte deve essere convertita nella nuova base. E, in effetti, la principale difficoltà è esprimere in termini matematici che cosa significa per una variabile casuale essere indipendente per cambiamenti di base. Tralasceremo i dettagli.
7. Conclusione
La legge di Benford è affascinante: essa sfida l’intuizione, ed è qualcosa che si può testare da sé e persino adattare ad un’attività di classe. È usata per essere una curiosità , ma ora è uno strumento standard per intercettare le frodi. Sicuramente, sempre più evasori fiscali la conoscono. Ma prestate attenzione: la prima cifra significativa non è la sola cosa di cui tenere conto. La legge di Benford generalizzata permette di ottenere una legge per la seconda cifra significativa, per la terza, ecc… Potete provare a trovarla da soli: basta pensare in quali unioni di intervalli la mantissa di un numero dovrebbe essere tale da avere come seconda cifra significativa.
Questo post è disponibile in: Inglese, Francese, Tedesco, Spagnolo, Arabo, Khmer, Portoghese, Brasile
come co-fondatore del portale: http://www.redflagfinder.it che ha come core business della sua attività quello di generare analisi basate sulle proprietà insite nella Legge di Benford, posso affermare la sua valdità pratica nell’intercettare frodi o comunque anomalie nelle serie di dati, tuttavia occorre usare l’applicazione con grande prudenza stante la facilità a generare falsi positivi, che possono essere riconosciuti come tali con opportuni indicatori di valutazione.
Carlo Mauri