Vielbein - Relativity and other

Vielbein

Latest notes...

Some notes on Relativity and other arguments

Informazione e gravita entropica - IV

Partiamo da un obiettivo preciso: costruire un apparato puramente informazionale in cui una variabile continua radiale r&gt;0 (distanza della massa test m dalla sorgente M) venga descritta tramite una distribuzione di credenza p(r), ottenuta come aggiornamento &ldquo;minimamente informativo&rdquo; rispetto a una misura di riferimento &mu;(r), e in cui da tale costruzione emerga in modo trasparente un gradiente informazionale associato al potenziale assegnato U(r)=A/r. L&rsquo;analisi &egrave; intenzionalmente svincolata da analogie termodinamiche: le quantit&agrave; che introdurremo avranno interpretazione come costi, log-verosimiglianze, o lunghezze di codice; l&rsquo;eventuale simbolo T verr&agrave; interpretato come semplice fattore di conversione duale, privo di contenuto fisico intrinseco.
Si consideri un sistema descritto da una singola variabile continua r definita su un dominio <img title="D\subseteq(0,\infty)" src="https://latex.codecogs.com/svg.image?D\subseteq(0,\infty)">. L&rsquo;obiettivo &egrave; costruire una distribuzione p(r) che rappresenti lo stato di informazione sul valore di r. In un&rsquo;impostazione puramente informazionale, in assenza di ulteriori vincoli, una scelta naturale &egrave; introdurre una misura di riferimento &mu;(r) che codifica la struttura &ldquo;a priori&rdquo; dello spazio dei possibili valori di r. Tale misura non &egrave; necessariamente una densit&agrave; di probabilit&agrave; normalizzata: serve come base rispetto alla quale misurare quanta informazione aggiuntiva &egrave; stata introdotta nel passaggio da &mu; a p. Nel caso radiale in tre dimensioni, la simmetria sferica suggerisce una misura geometrica proporzionale all&rsquo;area delle sfere di raggio r. Si assume quindi
<img title="\mu(r)=Cr^2" src="https://latex.codecogs.com/svg.image?\mu(r)=Cr^2">
C&gt;0 &egrave; una costante (che pu&ograve; essere assorbita in una normalizzazione finale o in un termine additivo di logaritmi). Questa scelta esprime un fatto puramente combinatorio: al crescere di r cresce la &ldquo;molteplicit&agrave;&rdquo; geometrica dei punti a distanza r dalla sorgente. In termini informazionali, &mu;(r) &egrave; un riferimento che assegna peso maggiore ai valori di r che corrispondono a un numero maggiore di configurazioni geometricamente distinte.
Per formalizzare il criterio di aggiornamento &ldquo;minimamente informativo&rdquo;, introduciamo la divergenza di Kullback&ndash;Leibler (relativa) tra una densit&agrave; p(r) e la misura di riferimento &mu;(r):
<img title="D(p||\mu)=\int _D p(r)\ln\left(\frac{p(r)}{\mu(r)}\right)dr" src="https://latex.codecogs.com/svg.image?D(p||\mu)=\int&amp;space;_D&amp;space;p(r)\ln\left(\frac{p(r)}{\mu(r)}\right)dr">
Questa quantit&agrave; &egrave; ben definita quando p &egrave; assolutamente continua rispetto a &mu;. In questa formulazione, &mu; agisce come misura di base e D(p&#8741;&mu;) quantifica la quantit&agrave; di informazione introdotta passando da &mu; a p.
Il principio di minima informazione aggiunta pu&ograve; essere espresso come il problema variazionale
<img title="min_p D(p||\mu)" src="https://latex.codecogs.com/svg.image?min_p&amp;space;D(p||\mu)">
soggetto a vincoli che implementano ci&ograve; che si &ldquo;sa&rdquo; sul sistema. Il primo vincolo &egrave; la normalizzazione:
<img title="\int _D p(r)dr=1" src="https://latex.codecogs.com/svg.image?\int&amp;space;_D&amp;space;p(r)dr=1">
Per incorporare un potenziale U(r) come elemento informazionale, si pu&ograve; imporre un vincolo su un funzionale medio. Una scelta standard, che produce una famiglia esponenziale e mantiene la generalit&agrave; del formalismo, &egrave; il vincolo sul valore atteso:
<img title="\int _D p(r)U(r)dr=\overline{U}" src="https://latex.codecogs.com/svg.image?\int&amp;space;_D&amp;space;p(r)U(r)dr=\overline{U}">
dove <img title="\overline{U}" src="https://latex.codecogs.com/svg.image?\overline{U}">&nbsp;&egrave; un parametro fissato che rappresenta l&rsquo;informazione globale disponibile sul costo medio. In questa sede, U(r) &egrave; interpretato come funzione-costo: una mappa che associa a ciascun r&nbsp;una penalit&agrave; informazionale (o una preferenza negativa) e che, tramite il vincolo, induce una selezione tra distribuzioni compatibili.
Introduciamo quindi la Lagrangiana funzionale:
<img title="L\left[p,\alpha,\beta\right]=\int _D p(r)\frac{p(r)}{\mu(r)}dr+\alpha\left(\int _D p(r)dr-1\right)+\beta\left(\int _D p(r)U(r)-\overline{U}\right)" src="https://latex.codecogs.com/svg.image?L\left[p,\alpha,\beta\right]=\int&amp;space;_D&amp;space;p(r)\frac{p(r)}{\mu(r)}dr+\alpha\left(\int&amp;space;_D&amp;space;p(r)dr-1\right)+\beta\left(\int&amp;space;_D&amp;space;p(r)U(r)-\overline{U}\right)">
Il minimo rispetto a p si ottiene imponendo che la derivata funzionale si annulli. Variando <img title="p\rightarrow p+\epsilon\delta p" src="https://latex.codecogs.com/svg.image?p\rightarrow&amp;space;p+\epsilon\delta&amp;space;p"> e imponendo <img title="\delta L=0" src="https://latex.codecogs.com/svg.image?\delta&amp;space;L=0"> per ogni <img title="\delta p" src="https://latex.codecogs.com/svg.image?\delta&amp;space;p"> si ottiene la condizione di stazionariet&agrave;:
<img title="\ln\left(\frac{p(r)}{\mu(r)}\right)+1+\alpha+\beta U(r)=0" src="https://latex.codecogs.com/svg.image?\ln\left(\frac{p(r)}{\mu(r)}\right)+1+\alpha+\beta&amp;space;U(r)=0">
da cui segue:
<img title="p(r)=\mu(r)e^{-1-\alpha}e^{-\beta U(r)}" src="https://latex.codecogs.com/svg.image?p(r)=\mu(r)e^{-1-\alpha}e^{-\beta&amp;space;U(r)}">
La quantit&agrave; <img title="e^{-1-\alpha}" src="https://latex.codecogs.com/svg.image?e^{-1-\alpha}"> &egrave; una costante che viene determinata dalla normalizzazione. Definendo
<img title="Z(\beta)=\int _D\mu(u)e^{-\beta U(u)}du" src="https://latex.codecogs.com/svg.image?Z(\beta)=\int&amp;space;_D\mu(u)e^{-\beta&amp;space;U(u)}du">
si ottiene la forma normalizzata:
<img title="p_{\beta}(r)=\frac{\mu(r)e^{-\beta U(r)}}{Z(\beta)}" src="https://latex.codecogs.com/svg.image?p_{\beta}(r)=\frac{\mu(r)e^{-\beta&amp;space;U(r)}}{Z(\beta)}">
Questa &egrave; la famiglia esponenziale indotta dal criterio di minima KL rispetto alla misura &mu;&nbsp;con vincolo sul valore atteso di U. Il moltiplicatore &beta;&nbsp;&egrave; determinato dalla condizione <img title="\int p_{\beta}U=\overline{U}" src="https://latex.codecogs.com/svg.image?\int&amp;space;p_{\beta}U=\overline{U}">. &Egrave; cruciale notare che &beta;&nbsp;non &egrave; introdotto come temperatura fisica: &egrave; un parametro duale, un &ldquo;prezzo ombra&rdquo; del vincolo, che quantifica la sensibilit&agrave; dell&rsquo;ottimo alla specifica <img title="\overline{U}" src="https://latex.codecogs.com/svg.image?\overline{U}">.
Introduciamo ora una quantit&agrave; informazionale locale associata a r: il surprisal della realizzazione&nbsp;r&nbsp;sotto <img title="p_{\beta}" src="https://latex.codecogs.com/svg.image?p_{\beta}">:
<img title="S_{\beta}(r)=-\ln p_{\beta}(r)" src="https://latex.codecogs.com/svg.image?S_{\beta}(r)=-\ln&amp;space;p_{\beta}(r)">
da cui si ottiene:
<img title="S_{\beta}(r)=-\ln\mu(r)+\beta U(r)+\ln Z(\beta)" src="https://latex.codecogs.com/svg.image?S_{\beta}(r)=-\ln\mu(r)+\beta&amp;space;U(r)+\ln&amp;space;Z(\beta)">
Questa equazione mostra che <img title="S_{\beta}(r)" src="https://latex.codecogs.com/svg.image?S_{\beta}(r)">&nbsp;contiene tre contributi: un termine di misura <img title="-\ln\mu(r)" src="https://latex.codecogs.com/svg.image?-\ln\mu(r)">, un termine dinamico <img title="\beta U(r)" src="https://latex.codecogs.com/svg.image?\beta&amp;space;U(r)">&nbsp;e un termine globale indipendente da r. Poich&eacute; vogliamo studiare il comportamento locale lungo la coordinata r, consideriamo la derivata rispetto a r, ossia il gradiente informazionale:
<img title="\frac{dS_{\beta}(r)}{dr}=-\frac{d}{dr}\left(\ln\mu(r)\right)+\beta\frac{dU(r)}{dr}+\frac{d}{dr}\left(\ln Z(\beta)\right)" src="https://latex.codecogs.com/svg.image?\frac{dS_{\beta}(r)}{dr}=-\frac{d}{dr}\left(\ln\mu(r)\right)+\beta\frac{dU(r)}{dr}+\frac{d}{dr}\left(\ln&amp;space;Z(\beta)\right)">
poich&egrave; <img title="Z(\beta)" src="https://latex.codecogs.com/svg.image?Z(\beta)"> non dipende da r, l'ultimo termine dell'espressione &egrave; nullo e quindi si ottiene:
<img title="\frac{dS_{\beta}(r)}{dr}=-\frac{d}{dr}\left(\ln\mu(r)\right)+\beta\frac{dU(r)}{dr}" src="https://latex.codecogs.com/svg.image?\frac{dS_{\beta}(r)}{dr}=-\frac{d}{dr}\left(\ln\mu(r)\right)+\beta\frac{dU(r)}{dr}">
Questa &egrave; l&rsquo;equazione generale che collega il gradiente del surprisal al gradiente del costo U&nbsp;e al contributo della misura di riferimento. Essa spiega anche perch&eacute;, quando si lavora con gradienti locali, il termine di normalizzazione <img title="\ln Z(\beta)" src="https://latex.codecogs.com/svg.image?\ln&amp;space;Z(\beta)">&nbsp;scompare: esso &egrave; un offset globale della codifica, irrilevante per variazioni differenziali in r.
A questo punto introduciamo la misura <img title="\mu(r)=C r^2" src="https://latex.codecogs.com/svg.image?\mu(r)=C&amp;space;r^2"> ed il potenziale <img title="U(r)=A/r" src="https://latex.codecogs.com/svg.image?U(r)=A/r"> con A &gt;0. Svolgendo i calcoli si ottiene:
<img title="\frac{d S_{\beta}(r)}{dr}=-\frac{2}{r}-\beta\frac{A}{r^2}" src="https://latex.codecogs.com/svg.image?\frac{d&amp;space;S_{\beta}(r)}{dr}=-\frac{2}{r}-\beta\frac{A}{r^2}">
Questa formula &egrave; centrale perch&eacute; mette in evidenza la struttura additiva del gradiente: esiste un termine -2/r che deriva esclusivamente dalla scelta della misura geometrica, e un termine <img title="\beta A/r^2" src="https://latex.codecogs.com/svg.image?\beta&amp;space;A/r^2">&nbsp;che deriva dalla forma del potenziale A/r&nbsp;e dall&rsquo;intensit&agrave; del vincolo codificata da &beta;.
&Egrave; utile ora esplicitare anche la densit&agrave; <img title="p_{\beta}(r)" src="https://latex.codecogs.com/svg.image?p_{\beta}(r)"> che diviene:
<img title="p_{\beta}(r)=\frac{C r^2 e^{-\beta A/r}}{Z(\beta)}" src="https://latex.codecogs.com/svg.image?p_{\beta}(r)=\frac{C&amp;space;r^2&amp;space;e^{-\beta&amp;space;A/r}}{Z(\beta)}">
Il termine <img title="r^2" src="https://latex.codecogs.com/svg.image?r^2">&nbsp;favorisce valori grandi di r per ragioni geometriche, mentre il termine <img title="e^{-\beta A/r}" src="https://latex.codecogs.com/svg.image?e^{-\beta&amp;space;A/r}">&nbsp;penalizza i valori piccoli di r&nbsp;(poich&eacute; A/r &egrave; grande per r&nbsp;piccolo). Questa competizione &egrave; puramente informazionale: da una parte c&rsquo;&egrave; una molteplicit&agrave; crescente, dall&rsquo;altra un costo crescente avvicinandosi alla sorgente.
Come anticipato, la normalizzabilit&agrave; su <img title="(0,\infty)" src="https://latex.codecogs.com/svg.image?(0,\infty)"> non &egrave; garantita: per <img title="r\to\infty " src="https://latex.codecogs.com/svg.image?r\to\infty&amp;space;">, <img title="e^{-\beta A/r}\rightarrow 1" src="https://latex.codecogs.com/svg.image?e^{-\beta&amp;space;A/r}\rightarrow&amp;space;1">&nbsp;e la densit&agrave; cresce come <img title="r^2" src="https://latex.codecogs.com/svg.image?r^2">, quindi Z(&beta;) diverge se non si impone un cutoff o un ulteriore vincolo. Questo non inficia il calcolo del gradiente locale perch&eacute; dS/dr &egrave; costruito dalla forma logaritmica locale, ma se si desidera un modello probabilistico globalmente normalizzato occorre specificare un dominio <img title="D=\left[r_{min},r_{max}\right]" src="https://latex.codecogs.com/svg.image?D=\left[r_{min},r_{max}\right]"> oppure aggiungere un secondo vincolo&nbsp;che introduca un termine esponenziale decrescente in r.
Ora, poich&eacute; il nostro obiettivo &egrave; collegare il potenziale al gradiente informazionale, &egrave; utile separare la componente dovuta alla misura da quella dovuta al costo. Definiamo quindi un&rsquo;informazione &ldquo;dinamica&rdquo; come surprisal relativo alla misura:
<img title="S_{dyn}(r)=S_{\beta}(r)+\ln\mu(r)" src="https://latex.codecogs.com/svg.image?S_{dyn}(r)=S_{\beta}(r)+\ln\mu(r)">
sostituendo i valori si ottiene:
<img title="S_{dyn}(r)=\beta\frac{A}{r}+\ln Z(\beta)" src="https://latex.codecogs.com/svg.image?S_{dyn}(r)=\beta\frac{A}{r}+\ln&amp;space;Z(\beta)">
e se deriviamo rispetto ad r otteniamo:
<img title="\frac{S_{dyn}(r)}{dr}=-\beta\frac{A}{r^2}" src="https://latex.codecogs.com/svg.image?\frac{S_{dyn}(r)}{dr}=-\beta\frac{A}{r^2}">
Questa separazione &egrave; concettualmente importante: la misura &mu; codifica una baseline combinatoria, mentre <img title="S_{dyn}" src="https://latex.codecogs.com/svg.image?S_{dyn}">&#8203; cattura esclusivamente l&rsquo;informazione introdotta dal vincolo sul costo U. In altre parole, <img title="S_{dyn}" src="https://latex.codecogs.com/svg.image?S_{dyn}">&nbsp;&egrave; l&rsquo;informazione &ldquo;in eccesso&rdquo; rispetto a ci&ograve; che &egrave; gi&agrave; implicito nella struttura geometrica.
A questo punto si pu&ograve; introdurre un fattore di conversione T&nbsp;definito come inverso del moltiplicatore duale:
<img title="T=\frac{1}{\beta}" src="https://latex.codecogs.com/svg.image?T=\frac{1}{\beta}">
Questa definizione ha un significato operativo: &beta;&nbsp;misura quanto forte &egrave; il vincolo in unit&agrave; di &ldquo;nats per unit&agrave; di costo&rdquo;, mentre T&nbsp;misura il contrario, ovvero &ldquo;costo per nat&rdquo;. &Egrave; un puro cambio di unit&agrave; nella relazione coniugata.
Con tale definizione si ottiene la relazione differenziale:
<img title="\beta\frac{dS_{dyn}}{dr}=-\frac{A}{r^2}\Rightarrow\frac{U(r)}{dr}=T\frac{dS_{dyn}}{dr}\Rightarrow F(r)=T\frac{dS_{dyn}}{dr}" src="https://latex.codecogs.com/svg.image?\beta\frac{dS_{dyn}}{dr}=-\frac{A}{r^2}\Rightarrow\frac{U(r)}{dr}=T\frac{dS_{dyn}}{dr}\Rightarrow&amp;space;F(r)=T\frac{dS_{dyn}}{dr}">
La struttura informazionale risultante ha quindi una lettura precisa: la misura geometrica <img title="r^2" src="https://latex.codecogs.com/svg.image?r^2">&nbsp;introduce un contributo inevitabile al surprisal totale, che riflette la crescita combinatoria dei microstati geometrici; il potenziale A/r entra come costo che, tramite il moltiplicatore duale &beta;, induce un termine <img title="1/r^2" src="https://latex.codecogs.com/svg.image?1/r^2">&nbsp;nel gradiente informazionale dinamico; la parte &ldquo;di forza&rdquo; associata al potenziale coincide con il gradiente negativo del costo e pu&ograve; essere riscritta come gradiente di informazione dinamica riscalato dal fattore T=1/&beta;.
Questo conclude il ragionamento: partendo da una misura <img title="\mu(r)=Cr^2" src="https://latex.codecogs.com/svg.image?\mu(r)=Cr^2">&nbsp;e imponendo un potenziale informazionale U(r)=A/r, la procedura di minima KL conduce a una famiglia <img title="p_{\beta}(r)" src="https://latex.codecogs.com/svg.image?p_{\beta}(r)">&#8203;, da cui si ricava in modo trasparente il surprisal <img title="S_{\beta}" src="https://latex.codecogs.com/svg.image?S_{\beta}">&#8203; e il suo gradiente; separando il contributo geometrico della misura si ottiene un gradiente informazionale dinamico proporzionale a &minus;A/r2, e si mostra come tale gradiente sia direttamente collegato alla derivata del potenziale tramite il parametro duale &beta;&nbsp;(o il fattore di conversione T=1/&beta;).