Home
Notes
Traductions & Res.
eStudio
Vielbein
Latest notes...
Some notes on Relativity and other arguments
Informazione senza utilizzare la probabilita
<p style="text-align: justify;">In questo post si vuole introdurre una definizione di Informazione che non sia legata al concetto di probabilità. Supponiamo dunque che esista una funzione - che chiameremo Informazione:</p> <p style="text-align: center;"><img title="I:A\to\mathbb{R}^+" src="https://latex.codecogs.com/svg.image?I:A\to\mathbb{R}^+"></p> <p style="text-align: justify;">che assegni un valore reale non negativo ad ogni elemento che appartiene all'insieme <img title="A" src="https://latex.codecogs.com/svg.image?A">. Un elemento di <img title="A" src="https://latex.codecogs.com/svg.image?A"> viene chiamato <em>evento</em> e - in analogia con quanto si fa per la teoria della probabilità - è un sottoinsieme di un insieme più vasto <img title="\Omega " src="https://latex.codecogs.com/svg.image?\Omega&space;"> (<em>sample space</em>) che contiene tutti i possibili '<em>outcomes</em>' del nostro sistema/esperimento.</p> <p style="text-align: justify;">Definiamo ora una <img title="\sigma" src="https://latex.codecogs.com/svg.image?\sigma">-algebra <img title="A" src="https://latex.codecogs.com/svg.image?A"> di sottoinsiemi di <img title="\Omega " src="https://latex.codecogs.com/svg.image?\Omega&space;"> che soddisfa le proprietà:</p> <p style="text-align: justify;"><strong>1.</strong> <img title="\Omega\in\textit{A}" src="https://latex.codecogs.com/svg.image?\Omega\in\textit{A}"></p> <p style="text-align: justify;"><strong>2.</strong> Se <img title="B\in A" src="https://latex.codecogs.com/svg.image?B\in&space;A"> definiamo il complemento <img title="B^C=(\Omega-B)\in A" src="https://latex.codecogs.com/svg.image?B^C=(\Omega-B)\in&space;A"></p> <p style="text-align: justify;"><strong>3.</strong> Se <img title="B_{n}\in A" src="https://latex.codecogs.com/svg.image?B_{n}\in&space;A"> per n=1..n allora</p> <p style="text-align: center;"><img title="\bigcup_{n=1}^{\infty}B_{n}\in A" src="https://latex.codecogs.com/svg.image?\bigcup_{n=1}^{\infty}B_{n}\in&space;A"></p> <p style="text-align: justify;">Una volta definita l'algebra dobbiamo specificare meglio la funzione <em>I(B)</em> che associa una determinata quantità di informazione all'evento B. Uno degli aspetti di cui dobbiamo tenere conto quando definiamo l'informazione è che l'informazione di un evento B più specifico di un evento A è maggiore: in formule si ha che se <img title="B\subset A" src="https://latex.codecogs.com/svg.image?B\subset&space;A"> vale <img title="I(B)>I(A)" src="https://latex.codecogs.com/svg.image?I(B)>I(A)">.</p> <p style="text-align: justify;">Introduciamo ora una operazione binaria:</p> <p style="text-align: center;"><img title="\oplus:\mathbb{R}_{0}^{+}\times\mathbb{R}_{0}^{+}\mapsto\mathbb{R}_{0}^{+}" src="https://latex.codecogs.com/svg.image?\oplus:\mathbb{R}_{0}^{+}\times\mathbb{R}_{0}^{+}\mapsto\mathbb{R}_{0}^{+}"></p> <p style="text-align: justify;">che esprime l'informazione di due insiemi disgiunti:</p> <p style="text-align: center;"><img title="I(A\cup B)=I(A)\oplus I(B)" src="https://latex.codecogs.com/svg.image?I(A\cup&space;B)=I(A)\oplus&space;I(B)"></p> <p style="text-align: justify;">Per definire come è fatta l'operazione binaria iniziamo con il definire alcune proprietà che deve soddisfare l'informazione:</p> <p style="text-align: justify;"><strong>1.</strong> <img title="I(B)>0\enspace\forall B\in A" src="https://latex.codecogs.com/svg.image?I(B)>0\enspace\forall&space;B\in&space;A"></p> <p style="text-align: justify;"><strong>2.</strong> <img title="I(\Omega)=0" src="https://latex.codecogs.com/svg.image?I(\Omega)=0"></p> <p style="text-align: justify;"><strong>3.</strong> Se <img title="B\in A" src="https://latex.codecogs.com/svg.image?B\in&space;A"> e <img title="C\in A" src="https://latex.codecogs.com/svg.image?C\in&space;A"> e <img title="B\cap C=0" src="https://latex.codecogs.com/svg.image?B\cap&space;C=0"> vale la relazione:</p> <p style="text-align: center;"> <img title="I(B\cup C)=I(B)\oplus I(C)" src="https://latex.codecogs.com/svg.image?I(B\cup&space;C)=I(B)\oplus&space;I(C)"></p> <p style="text-align: justify;"><strong>4.</strong> Vale la relazione:<img style="display: block; margin-left: auto; margin-right: auto;" title="B_1\subseteq B_2\subseteq\dots\subseteq B_n\enspace\mapsto B=\bigcup_{i=1}^{\infty}B_n\enspace\mapsto I(B_n)\rightarrow I(B)" src="https://latex.codecogs.com/svg.image?B_1\subseteq&space;B_2\subseteq\dots\subseteq&space;B_n\enspace\mapsto&space;B=\bigcup_{i=1}^{\infty}B_n\enspace\mapsto&space;I(B_n)\rightarrow&space;I(B)"></p> <p style="text-align: justify;">la quale indica che, data una successione di eventi che si includono a vicenda, l'informazione dell'n-esimo evento tende ad essere uguale all'informazione di B, a sua volta unione degli n eventi. La medesima relazione vale per:</p> <p style="text-align: center;"> <img title="B_1\supseteq B_2\supseteq\dots\supseteq B_n\enspace\mapsto B=\bigcap_{i=1}^{\infty}B_n\enspace\mapsto I(B_n)\rightarrow I(B)" src="https://latex.codecogs.com/svg.image?B_1\supseteq&space;B_2\supseteq\dots\supseteq&space;B_n\enspace\mapsto&space;B=\bigcap_{i=1}^{\infty}B_n\enspace\mapsto&space;I(B_n)\rightarrow&space;I(B)"></p> <p style="text-align: justify;">La relazione (4) rappresenta una sorta di continuità nell'informazione.</p> <p style="text-align: justify;">Definiamo ora alcune proprietà che caratterizzano l'operazione binaria che abbiamo appena introdotto. Supponiamo di avere <img title="x,y,z\in\mathbb{R}_0^+" src="https://latex.codecogs.com/svg.image?x,y,z\in\mathbb{R}_0^+"> e le seguenti proprietà:</p> <p style="text-align: justify;"><strong>1.</strong> Proprietà commutativa: <img title="x\oplus y=y\oplus x" src="https://latex.codecogs.com/svg.image?x\oplus&space;y=y\oplus&space;x"></p> <p style="text-align: justify;"><strong>2.</strong> Proprietà associativa: <img title="(x\oplus y)\oplus z=x\oplus(y\oplus z)" src="https://latex.codecogs.com/svg.image?(x\oplus&space;y)\oplus&space;z=x\oplus(y\oplus&space;z)"></p> <p style="text-align: justify;"><strong>3.</strong> Vale la relazione: <img title="I(B)\oplus I(B^C)=0" src="https://latex.codecogs.com/svg.image?I(B)\oplus&space;I(B^C)=0"> che indica come l'informazione totale è nulla.</p> <p style="text-align: justify;"><strong>4.</strong> La funzione <img title="\oplus " src="https://latex.codecogs.com/svg.image?\oplus&space;"> è continua in due variabili (che sia di due variabili deriva dalla sua definizione precedente)</p> <p style="text-align: justify;"><strong>5.</strong> Se due eventi sono indipendenti si ha: <img title="I(B\cap C)=I(B)+I(C)" src="https://latex.codecogs.com/svg.image?I(B\cap&space;C)=I(B)+I(C)"> ed inoltre vale la relazione: <img title="(x+z)\oplus(y+z)=(x+y)\oplus z" src="https://latex.codecogs.com/svg.image?(x+z)\oplus(y+z)=(x+y)\oplus&space;z"></p> <p style="text-align: justify;">Date queste 5 proprietà si può dimostrare che è valida una delle seguenti equazioni:</p> <p style="text-align: center;"><img title="\forall x,y\in\mathbb{R}_0^+\qquad x\oplus y=min\{x,y\}" src="https://latex.codecogs.com/svg.image?\forall&space;x,y\in\mathbb{R}_0^+\qquad&space;x\oplus&space;y=min\{x,y\}"></p> <p style="text-align: center;"><img title="\exists k>0,\forall x,y\in\mathbb{R}_0^+\qquad x\oplus y=-k\cdot log_2\left(2^{-\frac{x}{k}}+2^{-\frac{y}{k}}\right)" src="https://latex.codecogs.com/svg.image?\exists&space;k>0,\forall&space;x,y\in\mathbb{R}_0^+\qquad&space;x\oplus&space;y=-k\cdot&space;log_2\left(2^{-\frac{x}{k}}+2^{-\frac{y}{k}}\right)"></p> <p style="text-align: justify;">La dimostrazione non è banale e si base sui lavori di Forte e la loro estensione proposta da Cerny e Brunovsky ("<em>A Note on Information Without Probability</em>"). Si può inoltre dimostrare che la prima equazione è un caso limite della seconda quando <img title="k\to 0^+" src="https://latex.codecogs.com/svg.image?k\to&space;0^+">.</p> <p style="text-align: justify;">Vale inoltre un'estensione della seconda equazione:</p> <p style="text-align: center;"><img title="\bigoplus_{i=1}^n x_i=x_1\oplus\dots\oplus x_n=-k\cdot log_2(2^{-\frac{x_1}{k}}+\dots+2^{-\frac{x_n}{k}})" src="https://latex.codecogs.com/svg.image?\bigoplus_{i=1}^n&space;x_i=x_1\oplus\dots\oplus&space;x_n=-k\cdot&space;log_2(2^{-\frac{x_1}{k}}+\dots+2^{-\frac{x_n}{k}})"></p> <p style="text-align: justify;">Abbiamo ora tutti gli strumenti per definire in cosa consista l'informazione. </p> <p style="text-align: justify;">Supponiamo di avere una partizione <strong>A</strong> del sample space <img title="\Omega " src="https://latex.codecogs.com/svg.image?\Omega&space;"> costituita da n eventi ognuno dei quali possiede una quantità di informazione <em>a</em>. In formule:</p> <p style="text-align: justify;"><strong>1. </strong>vale la relazione: <img title="\mathbf{A}=\{A_i,\dots,A_n\}" src="https://latex.codecogs.com/svg.image?\mathbf{A}=\{A_i,\dots,A_n\}"></p> <p style="text-align: justify;"><strong>2.</strong> vale la relazione:</p> <p style="text-align: center;"><img title="\Omega=\bigcup_{i=1}^{n}A_i\qquad A_i\cap A_j=0\qquad i\neq j " src="https://latex.codecogs.com/svg.image?\Omega=\bigcup_{i=1}^{n}A_i\qquad&space;A_i\cap&space;A_j=0\qquad&space;i\neq&space;j&space;"></p> <p style="text-align: justify;"><strong>3. </strong>vale la relazione <img title="I(A_1)=\dots=I(A_n)=a" src="https://latex.codecogs.com/svg.image?I(A_1)=\dots=I(A_n)=a"></p> <p style="text-align: justify;">Cerchiamo ora di determinare il valore di <em>a</em>. Sappiamo che <img title="I(\Omega)=0" src="https://latex.codecogs.com/svg.image?I(\Omega)=0"> da cui otteniamo:</p> <p style="text-align: center;"><img title="0=I(A_1)\oplus\dots\oplus I(A_n)=a\oplus\dots\oplus a=\bigoplus a" src="https://latex.codecogs.com/svg.image?0=I(A_1)\oplus\dots\oplus&space;I(A_n)=a\oplus\dots\oplus&space;a=\bigoplus&space;a"></p> <p style="text-align: justify;">sappiamo inoltre che questa equazione può essere valutata in due modi:</p> <p style="text-align: center;"><img title="0=\bigoplus a=min\{a,\dots a\}=a\qquad se\;x\oplus y=min\{x,y\})" src="https://latex.codecogs.com/svg.image?0=\bigoplus&space;a=min\{a,\dots&space;a\}=a\qquad&space;se\;x\oplus&space;y=min\{x,y\})"></p> <p style="text-align: justify;">da cui si deriva che a è nulla (quindi l'equazione non è particolarmente significativa).</p> <p style="text-align: justify;">Oppure si ha l'altra equazione:</p> <p><img style="display: block; margin-left: auto; margin-right: auto;" title="0=\bigoplus a=-k\cdot log_2(2^{-\frac{a}{k}}+\dots+2^{-\frac{a}{k}})\qquad se\;x\oplus y=-k\cdot log_2(2^{-\frac{x}{k}}+2^{-\frac{y}{k}})" src="https://latex.codecogs.com/svg.image?0=\bigoplus&space;a=-k\cdot&space;log_2(2^{-\frac{a}{k}}+\dots+2^{-\frac{a}{k}})\qquad&space;se\;x\oplus&space;y=-k\cdot&space;log_2(2^{-\frac{x}{k}}+2^{-\frac{y}{k}})"></p> <p style="text-align: justify;">Questa equazione può essere semplificata:</p> <p style="text-align: center;"><img title="0=\bigoplus a=-k\cdot log_2(n\cdot 2^{-k\frac{a}{k}})=a-k\cdot log_2(n)" src="https://latex.codecogs.com/svg.image?0=\bigoplus&space;a=-k\cdot&space;log_2(n\cdot&space;2^{-k\frac{a}{k}})=a-k\cdot&space;log_2(n)"></p> <p style="text-align: justify;">da cui si ricava l'importante relazione:</p> <p style="text-align: center;"><img title="a=k\cdot log_2(n)=-k\cdot log_2(\frac{1}{n})" src="https://latex.codecogs.com/svg.image?a=k\cdot&space;log_2(n)=-k\cdot&space;log_2(\frac{1}{n})"></p> <p style="text-align: justify;">che ci permette di affermare che a partire da una partizione <img title="\mathbf{A}=\{A_i,\dots,A_n\}" src="https://latex.codecogs.com/svg.image?\mathbf{A}=\{A_i,\dots,A_n\}"> del sample space <img title="\Omega " src="https://latex.codecogs.com/svg.image?\Omega&space;"> l'informazione dell'evento <img title="A_i" src="https://latex.codecogs.com/svg.image?A_i"> è data dall'equazione:</p> <p style="text-align: center;"><img title="I(A_i)=-k\cdot log_2(\frac{1}{n})" src="https://latex.codecogs.com/svg.image?I(A_i)=-k\cdot&space;log_2(\frac{1}{n})"></p> <p style="text-align: justify;">Se inoltre abbiamo un evento A dato dall'unione di m eventi indipendenti:</p> <p style="text-align: center;"> <img title="A=A_{i_1}\cup\dots\cup A_{i_k}" src="https://latex.codecogs.com/svg.image?A=A_{i_1}\cup\dots\cup&space;A_{i_k}"> </p> <p style="text-align: justify;">l'informazione ad esso associato sarà:</p> <p style="text-align: center;"><img title="I(A)=-k\cdot log_2(\frac{m}{n})" src="https://latex.codecogs.com/svg.image?I(A)=-k\cdot&space;log_2(\frac{m}{n})"></p>