Bonjour,
Je bute sur un exercice sur les chaines de Markov.
Ci dessous l'énnoncé :
Montrez que la chaine de Markov associée à la matrice de transition définie par :
Pour tout entier x >= 0
$ P(x,x+1) = 0.5 $ $P(x,0) = 0.5$
est une chaine de Markov sur $\N$ irréducitble, récurrente et positive de matrice de transition P et de probabilité invariante :
Pour tout entier x >= 0
$\pi(x) = (0.5)^{x+1}$
Pour prouver que la chaine est irréductible, il suffit de montrer qu'elle n'est composée que d'une seule classe, donc la pas de souci en montrant que tout i>=0 conduit à 0 et que tout i conduit à i+1.
Ensuite pour la réuccurence, je calcule $E_0[N_0]$, soit le nombre de visite en 0 en partant de 0.
J'en conclu rapidement que $E_0[N_0] = \sum_{n>=1} 0.5 * n = + \infty$
Et que par conséquent la chaine est récurrente.
Maintenant mon problème est la démonstration de récurrence positive.
J'ai fait qqch de plutôt bizare mais je le post qd meme :
On sait que $ E_0[T_0] = \mu(E) $ ou E est l'ensemble des états de la chaine.
Etant définie sur N, $ E_0[T_0] = \mu(\N) $
La définition de la mesure invariante dans les cas non finis :
$ \mu(x) = \sum_(y \in E) \mu(y) P(y, x) $
Et de la je trouve ça (avec des gros doutes) :
$ \mu(x) = \mu(x+1) (0.5)^{x+1} + \mu(0) (0.5)^x$
$(0.5)^{x+1} $ car pour passer de la valeur x+1 à x, je dois forcement retourner à 0 puis avancé x fois de suite.
$(0.5)^x $ car pour passer de 0 à x , il faut avancé x fois de suite.
Si qqn pourrait me filer un coup de main pour m'aider pour prouver la récurrence positive , ca serait super sympa !