Niveau Master

Chaines de Markov

Posté par
un_plus_un_ 14-12-08 à 18:53

Bonsoir, voilà petit souci avec un exercice :

Citation :

Soit (Xn) chaine de Markov homogène à valeurs dans E = {1,2,3,4,5} et de matrice de transition

$P = \left( \frac{1}{3} \ 0 \ 0 \ \frac{2}{3} \ 0 \\ \frac{1}{3} \ \frac{1}{3} \ 0 \ \frac{1}{3} \ 0 \\ 0 \ 0 \ \frac{1}{6} \ 0 \ \frac{5}{6} \\ \frac{1}{4} \ \frac{1}{4} \ 0 \ \frac{1}{2} \ 0 \\ 0 \ 0 \ \frac{1}{3} \ 0 \ \frac{2}{3} \\ \right)$

1) Classifier les états de la chaine

2) Calculer la limite pour $n \rightarrow + \infty$ de $\frac{1}{n} \Bigsum_{k=0}^{n-1} X^2_{k}$ lorsque $X_0 = x$ pour tous les $x \in E$

1) j'ai fais un graphe de la chaine et grace à celui-ci j'ai distingué 2 classes de communication : $C_1 = \{1,2,4\}$ , $C_2 = \{3,5}$ . Ce sont des classes de récurrence. Est-ce juste?

2) je ne sais pas du tout comment faire, une piste pour m'éclairer svp?

Merci

Posté par re : Chaines de Markov 15-12-08 à 14:59

si tu poses M = X², alors X_k=X^k. Du coup il sagit de calculer :
P^2*k.
Pour calculer cela, il faut calculer Pⁿ, en diagonalisaant P (D=K^-1*P*K). Apres le calcul de Pⁿ est simple : P=K*D*K^-1, d ou Pⁿ=K*Dⁿ*K^-1 (en effet, ya téléscopage de D^-1 et D ...)

Posté par re : Chaines de Markov 15-12-08 à 21:27

merci pour ta suggestion

le but ici était d'utiliser la loi forte des grands nombres pour les chaines de Markov, cette chaine n'est pas irréductible donc on peut pas l'utiliser directement. On utilise donc les 2 classes de communication qui existent et on regarde les chaines d'espace d'état restreint à ces classes, les 2 chaines sont irréductibles, apériodiques, et donc on peut utiliser la loi forte et rebondir sur notre chaine en question