Home
Notes
Traductions & Res.
eStudio
Vielbein
Latest notes...
Some notes on Relativity and other arguments
Interpretazione sintattica dell entropia di Shannon
<p style="text-align: justify;">La formula dell'entropia di Shannon è generalmente interpretata da un punto di vista 'sintattico' - cioè della complessita dei messaggi di un determinato linguaggio - tralasciando il suo contenuto semantico (cioè il signifiato dei messaggi che vengono inviati). In questa nota vogliamo brevemente descrivere che cosa si intende per interpretazione sintattica.</p> <p style="text-align: justify;">Inziamo con il definire che cosa sia un '<strong>probabilistic ensemble</strong>' come una tripla:</p> <p style="text-align: center;"><img title="X=(x,A_x,P_x)" src="https://latex.codecogs.com/gif.latex?X=(x,A_x,P_x)" /></p> <p style="text-align: justify;">dove x rappresenta una variabile casuale che può assumere uno dei valori contenuti nell'insieme <img title="A_x=\left \{ a_1, a_2, ... a_n\right \}" src="https://latex.codecogs.com/gif.latex?A_x=\left&space;\{&space;a_1,&space;a_2,&space;...&space;a_n\right&space;\}" /> con una probabilità che appartiene all'insieme <img title="P_x=\left \{ p_1, p_2, ... p_n \right \}" src="https://latex.codecogs.com/gif.latex?P_x=\left&space;\{&space;p_1,&space;p_2,&space;...&space;p_n&space;\right&space;\}" />, in modo tale che il valore sia maggiore di zero e la somma delle probabilità sia uguale a 1.</p> <p style="text-align: justify;">Definiamo ora la <strong>Entropia di Shannon </strong>(o informazione di Shannon) dell'ensemble X come:</p> <p style="text-align: center;"><img title="H(X)=\sum_i p_ilog_2\frac{1}{p_i}" src="https://latex.codecogs.com/gif.latex?H(X)=\sum_i&space;p_ilog_2\frac{1}{p_i}" /></p> <p style="text-align: justify;">dove l'indice i corre sui valori assunti dalla variabile casuale x.</p> <p style="text-align: justify;">Prendiamo ora in esame il seguente esempio. Consideriamo una variabile casuale che possa assumere solo due valori equiprobabili; il probabilistic ensemble è:</p> <p style="text-align: center;"><img title="X =\left \{ x; \left \{ a,b \right \}; \left \{ 0.5, 0.5 \right \} \right \}" src="https://latex.codecogs.com/gif.latex?X&space;=\left&space;\{&space;x;&space;\left&space;\{&space;a,b&space;\right&space;\};&space;\left&space;\{&space;0.5,&space;0.5&space;\right&space;\}&space;\right&space;\}" /></p> <p style="text-align: justify;">Di questo ensemble possiamo costruire più modelli. E' facilmente associabile al modello del lancio di una moneta, dove la variabile x è l'evento associato al lancio della moneta, i possibili valori sono 'testa' o 'croce' e sono equiprobabili per una moneta non truccata.</p> <p style="text-align: justify;">Per chiarire meglio di cosa stiamo parlando ci viene in aiuto la definizione di modello fornito da Frigg: "<em>A scientific model <strong>M</strong> represents a target <strong>T</strong> iff <strong>M</strong> and <strong>T</strong> are similar in relevant respects and to the relevant degrees</em>". È compito dello scienziato - attraverso la determinazione di ipotesi teoriche - stabilire quali aspetti del modello si riflettano nella realtà e in che misura. Un'ipotesi teorica è un'entità linguistica - un'asserzione - che afferma una sorta di relazione di somiglianza tra un modello e un sistema reale. È quindi possibile affinare la nostra definizione di modello affermando secondo Frigg che “<em>Un modello scientifico <strong>M</strong> rappresenta un sistema <strong>T</strong> se e solo se un'ipotesi teorica <strong>H</strong> asserisce che <strong>M</strong> e <strong>T</strong> sono simili sotto certi aspetti e in certi gradi</em>”.</p> <p style="text-align: justify;">Se utilizziamo questa definizione di modello nell'esempio che stiamo considerando, abbiamo che il sistema target <strong>T</strong> è rappresentato dal lancio di una moneta, il modello <strong>M</strong> è il probabilistic ensemble (la struttura matematica), l'ipotesi teorica <strong>H</strong> è la congettura che "il lancio della moneta si possa rappresentare con un buon grado di approssimazione tramite una variabile casuale che possa assumere due valori equiprobabili". Si noti che il contenuto semantico di questo modello è fornito dall'ipotesi teorica e non dalla struttura matematica utilizzata (il probabilistic ensemble). L'entropia H rappresenta la quantità di informazione che è necessaria affinchè il modello <strong>M</strong> sia specificato (istanziato) senza alcun riguardo al contenuto di questa informazione, che è definito dall'ipotesi teorica. Nel'esempio in oggetto l'informazione è pari ad 1 bit.</p> <p style="text-align: justify;">Si può utilizzare lo stesso modello M relativo ad un sistema target T differente. Se consideriamo il becco di un uccello (il sistema target T), basandoci sulla tassonomia di Ray sappiamo che esso può essere 'appuntito' o 'arrotondato'. Abbiamo dunque una variabile casuale x che è la 'forma del becco di un uccello' che può assumere due valori equiprobabili ('appuntito' o 'arrotondato'); ma questo è lo stesso probabilistic ensemble (M), applicato ad un differente sistema target (T), utilizzando però un'ipotesi teorica differente (H): "la forma del becco di un uccello si pùo rappresentare con un buon grado di approssimazione tramite un probabilistic ensemble costituito da una variabile casuale x che può assumere due valori equiprobabili". Anche in questo caso l'entropia H è pari ad 1 bit di informazione, ma il contenuto di informazione è completamente differente da quello specificato nell'esempio del lancio di una moneta.</p> <p style="text-align: justify;">Abbiamo dunque verificato che l'entropia di Shannon fornisce la quantità di informazione - indipendentemente da quale essa sia - per specificare un modello matematico M di un sistema target T, mentre il suo contenuto semantico è definito dall'ipotesi teorica che stabilisce la corrispondenza fra M e T.</p>
Some notes on Relativity and other arguments