(precision , lorsque je change de marche , je le fais en 1 seconde )

Bonsoir,
Oh, la belle chaîne de Markov absorbante !

Merci pour ce lien GBZM , je savais que cet exercice etait relié à cette theorie ....que trouves tu pour l'esperance  ?

S'il y a une marche 0 et une marche 7, ton escalier a huit marches et non sept
Je donne la théorie mais j'ai pas fait les calculs

 Cliquez pour afficher

Il s'agit d'une chaîne de Markov à espace d'états fini, de matrice de transtition



ou dit autrement,
P(0, 0) = a et P(0, 1) = b avec a + b = 1
P(i, i-1) = q et P(i, i+1) = p avec p + q = 1
P(7, 7) = d et P(7, 6) = c avec d + c = 1

On cherche l'espérance sous la mesure du temps d'atteinte où est le temps d'atteinte de l'état .

Pour calculer on calcule la probabilité invariante (qui existe quand a,b,c,d, et p vérifient certaines ingéalités triviales à trouver, parce que la chaine sera irréductible, apériodique, récurrente positive...) en résolvant l'équation

C'est-à-dire le système


et on normalise pour que
Alors est en fait l'inverse de .



Ensuite pour trouver , on peut selon les cas, soit s'appuyer sur le fait que X, notre processus de Markov (ou une modification simple de X) est une martingale et utiliser le théorème d'arrêt de Doob, soit utiliser la propriété de Markov (forte) intelligemment.

Ici on a un processus mesurable, adapté par rapport à la filtration des et


ne donnera pas (facilement) une matringale. Par contre, on doit pouvoir s'y ramener en posant si on considère à la place le processus donné par et qu'on l'arrête à T pour avoir une matringale bornée donc UI

et


Si on préfère la propriété de Markov forte, on l'utilise au temps d'atteinte de 1 et de 6 respectivement et on regarde comment sauter en 0 ou en 7 respectivement. On compare et pour en déduire et

Grosses coquilles avec mes histoires de !
C'est bien-sûr un inf qu'on cherche et c'est

Bonsoir Ulmière la "marche 0"   c'est ce que j'appelle le sol

Un petit code en SageMath qui suit très fidèlement le lien que j'ai donné sur les chaînes de Markov absorbantes :

P=matrix(QQ,8,8)
for i in range(1,7) : 
    P[i,i+1]=2/3
    P[i,i-1]=1/3
P[0,0]=1 ; P[7,7]=1

Q=P[1:7,1:7]
R=P.matrix_from_rows_and_columns(range(1,7),[0,7])
N=(identity_matrix(QQ,6)-Q)^(-1)
T = N*vector(6*[1])
B=N*R

for depart in range(1,7) :
    n=depart-1
    print("En partant du niveau {}".format(depart))
    print("espérance du temps d'arrivée à un bout de l'escalier :\n\
{0}, soit à peu près {1:.2f} secondes".format(T[n],float(T[n])))
    print("probabilité d'arrivée au niveau 0 :\n\
{0}, soit à peu près {1:.1%}".format(B[n,0],float(B[n,0])))
    print("probabilité d'arrivée au niveau 7 :\n\
{0}, soit à peu près {1:.1%}\n".format(B[n,1],float(B[n,1])))

 Cliquez pour afficher

En partant du niveau 1
espérance du temps d'arrivée à un bout de l'escalier :
963/127, soit à peu près 7.58 secondes
probabilité d'arrivée au niveau 0 :
63/127, soit à peu près 49.6%
probabilité d'arrivée au niveau 7 :
64/127, soit à peu près 50.4%

En partant du niveau 2
espérance du temps d'arrivée à un bout de l'escalier :
1254/127, soit à peu près 9.87 secondes
probabilité d'arrivée au niveau 0 :
31/127, soit à peu près 24.4%
probabilité d'arrivée au niveau 7 :
96/127, soit à peu près 75.6%

En partant du niveau 3
espérance du temps d'arrivée à un bout de l'escalier :
1209/127, soit à peu près 9.52 secondes
probabilité d'arrivée au niveau 0 :
15/127, soit à peu près 11.8%
probabilité d'arrivée au niveau 7 :
112/127, soit à peu près 88.2%

En partant du niveau 4
espérance du temps d'arrivée à un bout de l'escalier :
996/127, soit à peu près 7.84 secondes
probabilité d'arrivée au niveau 0 :
7/127, soit à peu près 5.5%
probabilité d'arrivée au niveau 7 :
120/127, soit à peu près 94.5%

En partant du niveau 5
espérance du temps d'arrivée à un bout de l'escalier :
699/127, soit à peu près 5.50 secondes
probabilité d'arrivée au niveau 0 :
3/127, soit à peu près 2.4%
probabilité d'arrivée au niveau 7 :
124/127, soit à peu près 97.6%

En partant du niveau 6
espérance du temps d'arrivée à un bout de l'escalier :
360/127, soit à peu près 2.83 secondes
probabilité d'arrivée au niveau 0 :
1/127, soit à peu près 0.8%
probabilité d'arrivée au niveau 7 :
126/127, soit à peu près 99.2%

Bonjour,

on peut généraliser les résultats donnés par GBZM à un escalier de marches (numérotées de à ) avec la probabilité de descendre d'une marche, la probabilité de monter d'une marche, en partant de la marche .

Si l'espérance du temps d'arrivée à un bout de l'escalier vaut

 Cliquez pour afficher

 Cliquez pour afficher

 Cliquez pour afficher

 Cliquez pour afficher

bonsoir , Bravo à vous deux ,pour le probleme posé on quitte l'escalier au bout d'environ 5,5 secondes ( ce que trouve GBZM), j'ai trouvé le meme resultat avec un bout de code simple à ecrire .Merci à jandri pour ce developpement complémentaire.
de mon coté j'eté parti sur une expression un peut differente pour la proba de se trouver sur la marche m à l'etape k (ou au bout de k secondes )en écrivant  une formule recursive du type    :
P(m, k)= P(m-1,k-1)*(2/3) + P(m+1,k-1)*(1/3)    avec la condition initiale P(5,0)=1  et si m<>5  et k =0  alors P(m,k) = 0 .

Bonsoir, pour la marche de l'ivrogne, comment pourrait on montrer que la probabilité que l'ivrogne arrive à son domicile est de 1 (presque sûre, que sais-je) et que cela mettrait un temps presqu'infini ?

Est-ce que les chaînes de Markov absorbantes pourraient aider à résoudre ce problème ?