Vielbein - Relativity and other

Vielbein

Latest notes...

Some notes on Relativity and other arguments

Informazione in un Dynamic Frame - senza vincoli

In questa nota vogliamo affrontare il problema di determinare la quantit&agrave; di informazione contenuta in un dynamic frame. Per limitare la problematica consideriamo&nbsp;il pi&ugrave; semplice dynamic frame che consiste in una lista di attributi - con relativi valori - ma che non presenta alcun tipo di vincolo - constraints. Per semplificare ulteriormente la situazione consideriamo il caso classico della tassonomia di Ray per gli uccelli.
Il dynamic frame di un Bird per la tassonomia di Ray &egrave; costituito da due attributi [beak, foot], ognuno dei quali pu&ograve; assumere due valori. Rappresentiamo tale frame nel modo seguente:
Bird = {beak:[round, pointed]; foot:[webbed, clawed]}
Il frame rappresenta il superordinate-concept bird a cui corrispondono dei subordinate-concepts, a seconda di quali valori sono attivati. Nel caso della tassonomia di Ray i subordinate-concepts sono solo due, che andiamo qui di seguito ad elencare:
Water Bird = {beak:round; foot:webbed}
Land Bird = {beak:pointed, foot:clawed}
Inoltre&nbsp;esiste un vincolo che lega l'attributo beak con l'attributo foot, nel senso che quando si presenta il caso di un beak round si ha sempre un valore di foot webbed (stessa situazione si ha con gli altri valori). Nel nostro esempio non considereremo questo vincolo e dunque avremo 4 subordinate-concepts che rappresentiamo come:
Bird_ij = {beak:beak_i, foot:foot_j}
dove gli indici (i,j) assumono i valori (1,2) e permettono di individuare tutti i possibili valori degli attributi del dynamic frame.
Veniamo ora a considerare come introdurre il concetto di informazione per i dynamic frame.
E' necessario introdurre&nbsp;un aspetto probabilistico.&nbsp;Come primo passo dobbiamo&nbsp;stabilire in cosa consista un probabilistic ensemble, come indicato&nbsp;nell'articolo&nbsp; "Two Kinds of Information Processing in Cognition" del 2019.
Un probabilistic ensemble X &egrave; una tripla (x, A_x, P_x) dove x rappresenta una variabile casuale che pu&ograve; assumere uno dei valori contenuti nell'insieme A_x={a_1, a_2, ... a_n} con una probabilit&agrave; che appartiene all'insieme P_x={p_1, p_2, ... p_n}, in modo tale che il valore sia maggiore di zero e la somma delle probabilit&agrave; p_x di P_x sia uguale a 1.
Nel caso che stiamo considerando abbiamo che il dynamic frame Bird &egrave; costituito da due probabilistic ensembles associati ai due attributi; cos&igrave; se prendiamo in esame l'attributo beak esso rappresenta un probabilistic ensemble formato da una variabile casuale che pu&ograve; assumere solo due valori equiprobabili. In termini pi&ugrave; formali:
beak --&gt; (x, A_x, P_x) con A_x={round, pointed} e P_x={0.5, 0.5}
La medesima cosa vale anche per l'altro attributo.
foot&nbsp;--&gt; (y, A_y, P_y) con A_y={webbed, clawed} e P_y={0.5, 0.5}
In questo modo un elemento centrale di un dynamic frame - gli attributi ed i loro valori - &egrave; costituito da un insieme di probabilistic ensembles. Il fatto che le variabili casuali&nbsp;assumano&nbsp;le stesse probabilit&agrave; &egrave; dovuto al fatto che per un dynamic frame 'teorico' non si hanno riscontri pratici e quindi tutti i valori hanno le stesse probabilit&agrave;.
E' importante anche sottolineare che le due variabili causuali che stiamo considerando nel nostro esempio sono variabli indipendenti (cosa che nella tassonomia di Ray non si verifica) e questo porta alla importante semplificazione:
P(X, Y) = P(X) P(Y) = 0.25
Definiamo ora la Shannon Information H(X) del probabilistic-ensemble X come:
<img title="H(X)=\sum _{i}p_ilog_2\frac{1}{p_i}" src="https://latex.codecogs.com/gif.latex?H(X)=\sum&amp;space;_{i}p_ilog_2\frac{1}{p_i}" />
che corrisponde&nbsp;alla quantit&agrave; di informazione contenuta in un attributo di un dynamic frame (si noti che usiamo il logaritmo in base 2 per comodit&agrave;);&nbsp;se consideriamo ad esempio l'attributo beak la sua quantit&agrave; di informazione sar&agrave;:
<img title="H(beak)=0.5log_2(2)+0.5log_2(2)=0.5*1+0.5*1=1" src="https://latex.codecogs.com/gif.latex?H(beak)=0.5log_2(2)+0.5log_2(2)=0.5*1+0.5*1=1" />
Cio&egrave; abbiamo bisogno di 1 bit di informazione per stabilire il valore dell'attributo beak.
E' possibile anche definire la quantit&agrave; di informazione di un singolo valore posseduto da un attributo come:
<img title="h(x)=log_2\frac{1}{p_i}" src="https://latex.codecogs.com/gif.latex?h(x)=log_2\frac{1}{p_i}" />
che nel caso ad esempio di beak pointed &egrave; ancora pari a 1.
Introduciamo anche la joint information come l'informazione legata a due variabili casuali:
<img title="H(X,Y)=\sum _{x \in {A_x}, y \in {A_y}}p(x,y)log_2 \frac{1}{p(x,y)}" src="https://latex.codecogs.com/gif.latex?H(X,Y)=\sum&amp;space;_{x&amp;space;\in&amp;space;{A_x},&amp;space;y&amp;space;\in&amp;space;{A_y}}p(x,y)log_2&amp;space;\frac{1}{p(x,y)}" />
dove p(x,y) &egrave; la probabilit&agrave; che X=x e Y=y; nel nostro esempio - trattandosi di variabili indipendenti - &egrave; sempre uguale a 0.25. Facciamo dunque il calcolo per i probabilistic-ensembles del nostro dynamic frame:
<img title="H(bird,foot)=4(0.25 log_2 \frac{1}{0.25}) = 4(0.25*2)=2" src="https://latex.codecogs.com/gif.latex?H(bird,foot)=4(0.25&amp;space;log_2&amp;space;\frac{1}{0.25})&amp;space;=&amp;space;4(0.25*2)=2" />
che &egrave; un valore atteso in quanto per variabili casuali indipendenti vale la relazione:
<img title="H(X,Y)=H(X)+H(Y)=1+1=2" src="https://latex.codecogs.com/gif.latex?H(X,Y)=H(X)+H(Y)=1+1=2" />
Il dynamic frame si pu&ograve; dunque considerare come un'insieme di probabilistic ensembles di cui &egrave; possibile calcolare la quantit&agrave; di informazione sia per i singoli attributi che lo costituiscono&nbsp;sia per l'intero dynamic frame.&nbsp;
Rimane ora da considerare il caso dei subordinate-concept.
I subordinate-concepts&nbsp;sono dei possibili outcomes del dynamic frame con determinate probabilit&agrave;. Cos&igrave; ad esempio il subordinate concept bird_11 che richiede come attributi beak=round e foot=webbed ha una probabilit&agrave;:
<img title="P(beak=round, foot=webbed)= P(beak=round)*P(foot=webbed)=0.5*0.5=0.25" src="https://latex.codecogs.com/gif.latex?P(beak=round,&amp;space;foot=webbed)=&amp;space;P(beak=round)*P(foot=webbed)=0.5*0.5=0.25" />
da cui si ricava la quantit&agrave; di informazione per questo outcome come:
<img title="h(beak=round, foot=webbed)=log_2\frac{1}{0.25}=2" src="https://latex.codecogs.com/gif.latex?h(beak=round,&amp;space;foot=webbed)=log_2\frac{1}{0.25}=2" />
Possiamo dunque concludere per questo semplice caso che un dynamic frame &egrave; un insieme di probabilistic ensembles, che determinano possibili outcomes.