Hola a todo el mundo, quería plantear una duda que me ha surgido leyendo el articulo titulado "A mathematical theory of communication" de Claude Elwood Shannon y que podeis encontrar en:
http://plan9.bell-labs.com/cm/ms/what/shannonday/shannon1948.pdfMi duda trata de lo que explica el artículo en la página 12 sobre todo, donde comenta que la entropía de un suceso "compuesto", es decir, la intersección de otros dos sucesos, tendrá una entropia igual o inferior a la suma de ambos.
Desde un punto de vista intuitivo si lo entiendo, ya que es lógico que la entropía sólo sea igual si ambos sucesos son independientes, y en el resto de los casos sea menor, ya que el conocimiento de uno de ellos permitirá obtener más información sobre el otro.
Desde un punto de vista más riguroso, jugando con la ecuación del artículo que, sino me equivoco, sería la siguiente:
\( - \displaystyle\sum_{i,j}^{}p(i,j)log[p(i,j)] \leq{-\displaystyle\sum_{i,j}^{}p(i,j)log[p(i)p(j)]} \)
Pues eso, simplificando un poco llego al resultado de:
\( p(i) \leq{p(i|j)} \)
\( p(j) \leq{p(j|i)} \)
Donde \( p(i|j) \) es la probabilidad de "i" dado que conocemos "j" (probabilidad condicionada).
Pues bien, entiendo que si "i" y "j" son independientes las dos probabilidades serán iguales, pero esto de que la condicionada tenga que ser mayor o igual.... no sé, no le veo la lógica... entendería que p(i,j) <= p(i), pero esto no termino de verlo, y si no me equivoco es el fundamento para poder entender la ecuación de las entropías enunciada en el artículo....
Si alguien pudiera decirme que le parece todo esto se lo agradecería... Es decir, intuitivamente sí lo entiendo, y rigurosamente si los dos sucesos son independientes de manera que p(i,j) = p(i)p(j) también, ya que operando se llega al mismo resultado en ambos lados de la ecuación, lo que no entiendo desde un punto de vista riguroso es porque la entropía será menor si los eventos no son independientes, lo cual si no me equivoco equivale a las dos últimas ecuaciones
