Inscription / Connexion Nouveau Sujet
Processus de sauts Markoviens
Bonjour, dans le cadre d'un TIPE je dois résoudre cet exercice :
On considère une file d'attente en temps
discret qui se forme à un guichet, suivant le phénomène suivant : à chaque
instant n ∈ IN, il arrive un client avec la probabilté p, (0 < p < 1) et pas de
client avec la probabilité 1 − p. Lorsqu'il y a au moins un client en attente,
à chaque instant un client est servi et quitte le système avec la probabilité
q, 0 < q < 1, et personne ne quitte le système avec la probabilité 1 − q
(un client qui arrive à l'instant n repart au plus tôt à l'instant n + 1). Tous
les tirages ci-dessus sont indépendants entre eux. On note Xn le nombre de
clients présents dans la file à l'instant n.
1. Montrer que {Xn, n ∈ IN} est une chaîne de Markov irréductible à
valeurs dans IN. Préciser sa matrice de transition Pxy, x, y ∈ IN.
2. Donner une CNS sur p et q pour que la chaîne {Xn} possède une probabilité invariante. On supposera dans la suite que cette condition est
satisfaite et on notera {πx, x ∈ IN} l'unique probabilité invariante que
l'on déterminera.
3. Calculer IEπ(Xn).
4. On précise maintenant que les clients sont servis dans l'ordre de leur
arrivée. On désigne par T le temps de séjour d'un client quelconque. Le
système étant initialisé avec sa probabilité invariante, quelle est l'espérance de T ?
J'aimerais savoir si ce que j'ai fait est juste pour le moment :
P=
| p(1-q) | q(1-p) | pq+(1-p)(1-q) |
| p(1-q) | q(1-p) | pq+(1-p)(1-q) |
| p(1-q) | q(1-p) | pq+(1-p)(1-q) |
et pour que la probabilité soit invariante j'ai trouvé p,q>1/2
Merci d'avance de me corriger, parce que j'ai l'impression d'avoir fait n'importe quoi, sachant que c'est une sorte d'exposé, je n'ai pas eu de cours sur les processus markoviens.
J'ai oublié de préciser que mon espace d'état E était
E=(+1,-1;0) soit je gagne un client, j'en perds 1, il ne se passe rien.
Bonjour.
L'espace des états est l'ensemble des valeurs que peuvent pendre les Xn.
C'est 
tout entier.
La matrice de transition est de dimension infinie.
En posant elle s'écrit :
Bonjour,
Je crains alors ne pas avoir compris comment fonctionne les matrices de transitions.
Pour moi, le coefficient aij correspond à la probabilité de passer d'un "état" à un autre.
Dans mon exemple, si E=(+1,-1,0)
Le coefficient a21, c'est la probabilité de passer de l'état "Perdre un client" à "Gagner un client" non ?
Je ne comprends pas non plus la raison pour laquelle la matrice doit être infinie...
Pour la probabilité invariante, j'ai utilisé la formule et ça m'a amené à 3 équations en fonction de p et q.
par exemple :
u("+1")=
u(x)P(x,y) 
p(1-q)=p(1-q)p(1-q)+q(1-p)pq(1-q)+pq+(1-p)(1-q)
J'ai ensuite résolu cette équation pour chaque état et j'ai obtenu comme condition p,q>1/2 . Mais encore une fois, je ne suis pas du tout sûre de moi.
Je tiens à nouveau à préciser que je suis en L3, et non en master, et que par conséquent mes seules connaissances sur la notion des chaînes de Markov sont les cours disponibles sur internet que je ne comprends pas toujours....
Merci d'avoir pris le temps de me répondre.
Bonjour,
Je crains alors ne pas avoir compris comment fonctionneENT les matrices de transitions.
Pour moi, le coefficient aij correspond à la probabilité de passer d'un "état" à un autre.
Dans mon exemple, si E=(+1,-1,0)
Le coefficient a21, c'est la probabilité de passer de l'état "Perdre un client" à "Gagner un client" non ?
Je ne comprends pas non plus la raison pour laquelle la matrice doit être infinie...
Pour la probabilité invariante, j'ai utilisé la formule et ça m'a amené à 3 équations en fonction de p et q.
par exemple :
u("+1")=
u(x)P(x,y)
p(1-q)=p(1-q)p(1-q)+q(1-p)pq(1-q)+pq+(1-p)(1-q)
J'ai ensuite résolu cette équation pour chaque état et j'ai obtenu comme condition p,q>1/2 . Mais encore une fois, je ne suis pas du tout sûre de moi.
Je tiens à nouveau à préciser que je suis en L3, et non en master, et que par conséquent mes seules connaissances sur la notion des chaînes de Markov sont les cours disponibles sur internet que je ne comprends pas toujours....
Merci d'avoir pris le temps de me répondre.
Suite à une discussion avec mon binôme, j'ai bien compris comment la matrice était construite. Je vous remercie beaucoup de votre aide.
Si vous pouviez m'aiguiller sur les conditions nécessaires et suffisantes sur p et q pour que la probabilité soit invariante.
Si ça peut te rassurer : mon plus haut diplôme en math est la licence, ce qui veut dire que j'ai validé ma L3 et pas ma maîtrise (M1). Et presque tout ce que je sait des chaînes de Markov provient d'internet.
Pour une probabilité invariante on regarde les transitions.
Avec les notations de mon message précédent on a, pour tout k dans N
Si la probabilité est invariante ces probabilités ne dépendent pas de n.
Je note cette probabilité .
On a donc
D'où
Ce qui se transforme facilement en
On a alors une suite récurrente d'ordre 2.
Il est classique de trouver que l'on a alors car les solutions de l'équation caractéristique sont 1 et
.
En tenant compte de la condition évidente on trouve facilement les seules valeurs possibles pour
.
J'ai bien vérifié tout ce que vous avez dit, et j'ai effectivement trouvé les mêmes résultats que vous.
Pour trouver les valeurs possibles de a, b\text{ et }\frac\gamma\alpha j'ai l'impression de me compliquer la tâcher pour rien.
Je m'explique j'ai découpé la somme en 2 :
La deuxième somme j'ai reconnu une suite géométrique, mais je n'arrive pas à conclure sur les différentes valeurs possibles... Est-ce que cette méthode est la bonne ?
Si le terme général de la somme ne tend pas vers zéro et elle diverge grossièrement.
On a donc et
Pour que cette somme converge on doit avoir d'où
.
Dans ce cas
Ensuite on prend
On choisit donc une valeur de on en déduit la valeur de
puis on choisit une valeur pour
(resp.
) et on en déduit la valeur de
(resp.
).
En se souvenant que et
sont des probabilités.
En supposant votre initialisation correcte, j'obtiens p=q comme condition, est-ce bien cela ? Cependant, d'ou vient l'initialisation ?
En y réfléchissant je trouve :
Ce qui se traduirait en français par : la probabilité d'avoir 0 client est de "ne pas en gagner si j'en ai 0" + "la probabilité de perdre un client sans en gagner si j'en ai 1".
D'ou la présence de 1-p en facteur de P_1
Dans votre initialisation on ne prend pas en compte le fait qu'on puisse en gagner 1 non ?
Si p=q est juste, cela signifie donc que puisque a=0 et
. Il reste donc à déterminer b pour calculer l'espérance de Xn ?
Tout ce que j'ai écrit sur l'initialisation est faux. 
Ce message 
Processus de sauts Markoviens contient aussi des erreurs en ce qui concerne les valeurs de et
.
La formule
n'est valable que pour
La première ligne de la matrice de transition est également fausse.
La matrice est
Il y a des jours où on ne devrait pas se lever . . .
Avec toutes mes excuses,
verdurin.
Effectivement je n'avais même pas remarqué le problème dans la matrice. Mais pour avoir un client sachant qu'on en a 0, il faut en gagner 1 et ne pas en perdre. D'ou p(1-q)
Du coup vous avez une idée pour trouver la probabilité invariante ?
Ne vous excuser pas, ce sont des choses qui arrivent, c'est déjà très gentil de votre part de nous accorder votre aide
Après dans la logique, sachant que l'on a 0 client, est-ce que l'on peut considérer qu'on puisse en perdre 1...
J'ai l'impression d'être au poids mort 
Je viens de voir que la deuxieme matrice que vous avez donné n'est pas une matrice de transition car la somme de ses colonnes ne fait pas 1
Ca y est, problème résolu !
Merci beaucoup monsieur verdurin, c'est en grande partie grâce à vos remarques très pertinentes.
Bonne continuation.
Annuler
connectez vous