Bonjour,

Je bute sur un exercice sur les chaines de Markov.

Ci dessous l'énnoncé :

Montrez que la chaine de Markov associée à la matrice de transition définie par :

      Pour tout entier x >= 0

$ P(x,x+1) = 0.5 $          $P(x,0) = 0.5$

est une chaine de Markov sur $\N$ irréducitble, récurrente et positive de matrice de transition P et de probabilité invariante :

     Pour tout entier x >= 0

$\pi(x) = (0.5)^{x+1}$            



Pour prouver que la chaine est irréductible, il suffit de montrer qu'elle n'est composée que d'une seule classe, donc la pas de souci en montrant que tout i>=0 conduit à 0 et que tout i conduit à  i+1.

Ensuite pour la réuccurence, je calcule $E_0[N_0]$, soit le nombre de visite en 0 en partant de 0.
J'en conclu rapidement que $E_0[N_0] = \sum_{n>=1} 0.5 * n = + \infty$
Et que par conséquent la chaine est récurrente.

Maintenant mon problème est la démonstration de récurrence positive.

J'ai fait qqch de plutôt bizare mais je le post qd meme :

On sait que $ E_0[T_0] = \mu(E)   $ ou E est l'ensemble des états de la chaine.

Etant définie sur N,  $ E_0[T_0] = \mu(\N)   $

La définition de la mesure  invariante dans les cas non finis :
$ \mu(x) =  \sum_(y \in E) \mu(y) P(y, x) $

Et de la je trouve  ça (avec des gros doutes) :
$ \mu(x) = \mu(x+1) (0.5)^{x+1} + \mu(0) (0.5)^x$

$(0.5)^{x+1} $ car pour passer de la valeur x+1 à x, je dois forcement retourner à 0 puis avancé x fois de suite.

$(0.5)^x $ car pour passer de 0 à x , il faut avancé x fois de suite.

Si qqn pourrait me filer un coup de main pour m'aider pour prouver la récurrence positive , ca serait super sympa !