De ce Entropia trebuie definită ca Sumă de distribuție a probabilității comune?

Din cartea lui Stinson, în timpul demonstrației următoarei teoreme care spune:

$H(X,Y) \leq H(X) + H(Y)$, cu egalitate dacă și numai dacă $X$ și $Y$ sunt variabile aleatoare independente.

Autorul spune să presupunem $X$ a lua valorile $x_i$, $i$ în intervalul de la 1 la m și $Y$ a lua valorile $y_j$, $j$ în intervalul de la 1 la n, el denotă $p_i = \Pr[X=x_i]$, $i$ de la 1 la m, și $q_j = \Pr[Y=y_j]$, $j$ de la 1 la n. Apoi, el definește $r_{ij} = \Pr[X = x_i, Y = y_j]$, $i$ de la 1 la m și $j$ de la 1 la n, intrebarea mea este:

de ce este $$p_i = \sum_{j=1}^{n} r_{ij}$$

și $$q_j = \sum_{i=1}^{m} r_{ij}$$

Aș dori o demonstrație detaliată. Aș dori, de asemenea, să înțeleg mai bine ce $H(X,Y)$ mijloace.

Mai întâi rețineți că virgula din proabilitatea este operatorul AND; $$ \Pr[X = x , Y = y] = \Pr[X = x \wedge Y = y]$$ Aceasta este o notație comună pentru a simplifica scrierea.

Acum, scrie în mod explicit ca

$$p_i = \sum_{j=1}^{n} r_{ij} = \Pr[X = x_i \wedge Y = y_0] + \Pr[X = x_i \wedge Y = y_1] + \cdots + \ Pr[X = x_i \wedge Y = y_m]$$

Din moment ce variabilele aleatoare $X$ și $Y$ sunt independente, atunci aceasta este doar o partiție a evenimentului $x_i$ prin variabila aleatoare $Y$.

Ca un caz solid, luați în considerare două zaruri; unul are $X$ iar celălalt este $Y$ ca variabilă aleatoare a acestora reprezentând valoarea superioară a zarurilor. În total, există 36 de valori egale posibile ale aruncării celor două zaruri. Remediați primul, să spunem $3$ atunci

\begin{align}\Pr(X=3) = & \Pr(X=3,Y=1)+\ & \Pr(X=3,Y=2)+\ & \Pr(X=3,Y=3)+\ & \Pr(X=3,Y=4)+\ & \Pr(X=3,Y=5)+\ & \Pr(X=3,Y=6)\ = &\frac{1}{36}+ \frac{1}{36}+ \frac{1}{36}+ \frac{1}{36}+ \frac{1}{36} +\frac{ 1}{36} = \frac{1}{6} \end{align}

$H(X,Y)$ este de fapt Entropia comună iar formula este dată de (din nou ȘI);

$$H(X,Y) = -\sum_{x\in\mathcal X} \sum_{y\in\mathcal Y} P(x,y) \log_2[P(x,y)]$$

În contextul nostru, aceasta este

$$H(X,Y) = -\sum_{x\in X} \sum_{y\in Y} P(X=x,Y=y) \log_2[P(X=x,Y=y)] $$

$H(X,Y)$ este evaluarea simultană a $X$ și $Y$ și asta este egal cu prima evaluare $X$ apoi dată valoare de $X$ evalua $Y$

$$H(X,Y)= H(X|Y)+H(Y)=H(Y|X)+H(X) $$

Demonstrând acest pic lung;

\begin{align} H(X,Y) & = â \sum_{i=1}^n \sum_{j=1}^m \Pr(X=x_i,Y =y_j) \log \big( \Pr(X= x_i,Y =y_j) \big)\ & = â \sum_{i=1}^n \sum_{j=1}^m \Pr(X=x_i,Y =y_j) \log \big( \Pr(X=x_i) \Pr(Y |X = y_j|x_i) \big)\ & = â \sum_{i=1}^n \sum_{j=1}^m \Pr(X=x_i,Y =y_j) \big[ \log \big( \Pr(X=x_i) \ mare) + \log \big( \Pr(Y|X = y_j|x_i) \big) \big] \ & = â \sum_{i=1}^n \left( \sum_{j=1}^m \Pr(X=x_i,Y =y_j) \right) \log \big( \Pr(X= x_i) \mare) \ & - \sum_{i=1}^n \sum_{j=1}^m \Pr(X=x_i,Y =y_j) \log \left( \Pr(Y|X = y_j|x_i) \right) \ & = H(X) + H(Y|X) \end{align}

Entropia nu depinde de care sunt „etichetele” sau valorile variabilei aleatoare, este doar o proprietate a distribuției. La urma urmei, doar folosești $P(x), P(y), P(x,y)$ etc în formula nu $x,y$.

Odată ce realizezi acest lucru, setul de probabilități $P(x,y)$ este tot ce trebuie să utilizați și să aplicați definiția originală a entropiei pentru o singură variabilă aleatorie. Dacă doriți, definiți o variabilă aleatorie vectorială $z=(x,y)$ și calculează-i entropia ca $$ -\sum_{z} P(z) \log P(z) $$ care este la fel cu calculul $$ -\sum_{x,y} P(x,y) \log P(x,y) $$ Aceasta înseamnă, de asemenea, că entropia comună a unui număr de variabile aleatoare $H(x_1,\ldots,x_n)=H(p_1,\ldots,p_n):=H_0$ cu $P(x_i)=p_i,$ este aceeași cu entropia oricărei reordonări (permutări) a distribuției comune, deci aceasta înseamnă

$$ H(p_{\sigma(1))},p_{\sigma(2)},\ldots,p_{\sigma(n)})=H_0 $$ pentru toate permutările $\sigma:\{1,\ldots,n\}\rightarrow \{1,\ldots,n\}.$