[proba] entropie conjointe

Forums

» » » »

[proba] entropie conjointe

Posté le 04-09-08 à 11:12

Posté par youshe

Bonjour,

Je tente de me replonger un peu en thérie des codes et j'ai quelques soucis avec l'entropie conjointe de deux sources indépendantes.

Pour rappel, soient S1=(si,pi) et S2=(sj,pj), deux sources, les s étant l'alphabet et les p les probabilités d'apparition de chaque caractère correspondant de l'alphabet.
On définit $p_{i,j} = P(S1=s_{1i}\cap S2=s_{2j})$
Dans le cas général, l'entropie conjointe de S1 et S2 se calcule par :
$H(S1,S2) = \sum_i^n\sum_j^m p_{i,j} log_2(1/p_{i,j})$

Hors, on sait que dans le cas où les deux sources sont indépendantes, $p_{i,j} = p_i p_j$ , et qu'il est alors trivial de démontrer que $H(S1,S2) = H(S1) + H(S2)$ .
Seulement, même si intuitivement ça me parait exact, je n'arrive pas à retomber sur mes pieds sur le papier. A vrai dire, je trouverais quelque chose qui se rapprocherait plus de $H(S1) * H(S2)$ que ce que je suis supposé trouver.

D'après vous, qu'est-ce que je fais mal ?

Merci,

Fred

re : [proba] entropie conjointe

Posté le 04-09-08 à 11:30

Posté par Matouille2b

Bonjour

$H(S_1,S_2) = \bigsum_{i=1}^n \bigsum_{j=1}^m p_{i,j} \log_{2}(\frac{1}{p_{i,j}})$
$H(S_1,S_2) = \bigsum_{i=1}^n \bigsum_{j=1}^m p_{i}p_{j} \log_{2}(\frac{1}{p_{i}p_{j}})$
$H(S_1,S_2) = \bigsum_{i=1}^n \bigsum_{j=1}^m p_{i}p_{j} (\log_{2}(\frac{1}{p_{i}})+\log_{2}(\frac{1}{p_{j}}))$
$H(S_1,S_2) = \bigsum_{i=1}^n \bigsum_{j=1}^m p_{i}p_{j} \log_{2}(\frac{1}{p_{i}})+\bigsum_{i=1}^n \bigsum_{j=1}^m p_{i}p_{j} \log_{2}(\frac{1}{p_{j}})$
$H(S_1,S_2) = \bigsum_{i=1}^n p_{i} \log_{2}(\frac{1}{p_{i}})\bigsum_{j=1}^m p_{j} + \bigsum_{j=1}^m p_{j} \log_{2}(\frac{1}{p_{j}})\bigsum_{i=1}^n p_{i}$
$H(S_1,S_2) = \bigsum_{i=1}^n p_{i} \log_{2}(\frac{1}{p_{i}}) + \bigsum_{j=1}^m p_{j} \log_{2}(\frac{1}{p_{j}})$
$H(S_1,S_2) = H(S_1)+H(S_2)$

re : [proba] entropie conjointe

Posté le 04-09-08 à 11:39

Posté par youshe

Ah ben oui, merci, il s'agissait en fait d'une erreur d'inattention... J'étais parti sur ln(ab) = ln(a)ln(b).

Fred

Répondre à ce sujet

Seuls les membres peuvent poster sur le forum !

Vous devez être connecté pour poster

Un modérateur est susceptible de supprimer toute contribution qui ne serait pas en relation avec le thème de discussion abordé, la ligne éditoriale du site, ou qui serait contraire à la loi.

Ce topic

Imprimer
Réduire / Agrandir
Pour plus d'options, connectez vous !
Fiches de maths

probabilités en post-bac
1 fiches de mathématiques sur "probabilités" en post-bac disponibles.