Chaînes de Markov

Un jeton se déplace au hasard sur les 3 sommets d'un triangle 1, 2, 3. À chaque étape, il passe sur l'un des deux autres sommets, chacun avec la probabilité 0,5.
a) Écrire la matrice de transition M.
b) Déterminer l'état stable P = ( x y z ).

Dans une ville, on observe chaque jour le temps : Soleil (S) ou Pluie (P). Si un jour est ensoleillé, le lendemain l'est aussi avec la probabilité 0,8. S'il pleut, le lendemain est ensoleillé avec la probabilité 0,6. Le jour 0 est ensoleillé. On note sₙ la probabilité que le jour n soit ensoleillé.
a) Écrire la matrice de transition M (ordre S, P).
b) Montrer que sₙ₊₁ = 0,6 + 0,2 sₙ.
c) Déterminer la limite éventuelle ℓ de (sₙ).
d) Exprimer sₙ en fonction de n, puis retrouver la limite.
e) Interpréter le résultat.

Une agence de location possède 3 points de retrait 1, 2, 3. Les voitures circulent selon la matrice de transition
M =
( 0,5 0,3 0,2 )
( 0,1 0,7 0,2 )
( 0,2 0,2 0,6 )
a) Vérifier que M est une matrice de transition.
b) Déterminer l'état stable P = ( x y z ) (avec x + y + z = 1).
c) Interpréter : à long terme, quelle est la répartition des voitures ?

On modélise un mini-web de 3 pages 1, 2, 3 par un graphe orienté : la page 1 pointe vers 2 et 3 ; la page 2 pointe vers 3 ; la page 3 pointe vers 1. Un internaute clique au hasard, de façon équiprobable, sur l'un des liens sortants de la page où il se trouve.
a) Écrire la matrice de transition M.
b) Déterminer la distribution stable P = ( x y z ), qui donne le « classement » des pages.
c) Quelles pages arrivent en tête ?

Une puce se déplace le long d'une rangée de 4 cases 1−2−3−4 (chaque case est reliée à ses voisines immédiates). À chaque étape, elle passe sur une case voisine choisie au hasard, de façon équiprobable.
a) Écrire la matrice de transition M.
b) Déterminer l'état stable P = ( a b c d ) en résolvant P = P × M avec a + b + c + d = 1.
c) Vérifier que cette distribution est proportionnelle au degré de chaque case dans le graphe.

On étudie une chaîne de Markov générale à deux états A et B : on passe de A à B avec la probabilité a et de B à A avec la probabilité b, où 0 < a < 1 et 0 < b < 1. On note aₙ la probabilité d'être en A à l'étape n.
a) Écrire la matrice de transition M (ordre A, B).
b) Montrer que l'état stable est P = ( $\frac{b}{(a+b)}$ $\frac{a}{(a+b)}$ ).
c) Établir que aₙ₊₁ = b + (1 − a − b) aₙ, puis montrer que (aₙ) converge et donner sa limite.

Une machine peut être « en marche » (état A) ou « en panne » (état B). Chaque jour : si elle marche, elle tombe en panne avec la probabilité 0,1 ; si elle est en panne, elle est réparée (et remarche) avec la probabilité 0,4. Au jour 0 elle marche. On note aₙ la probabilité qu'elle marche le jour n.
a) Écrire la matrice de transition M.
b) Montrer que aₙ₊₁ = 0,4 + 0,5 aₙ.
c) Démontrer par récurrence que aₙ = 0,8 + 0,2 × 0,5ⁿ pour tout n ≥ 0.
d) Donner la limite de (aₙ) et l'interpréter.
e) Déterminer le plus petit entier n tel que aₙ ≤ 0,81.

Une entreprise répartit son personnel entre trois sites 1, 2, 3. Chaque année, les mutations suivent la matrice de transition
M =
( 0,6 0,4 0 )
( 0,2 0,6 0,2 )
( 0 0,4 0,6 )
a) Vérifier que M est une matrice de transition et interpréter les deux zéros.
b) Déterminer l'état stable P = ( x y z ) en résolvant P = P × M avec x + y + z = 1.
c) L'entreprise emploie 2 000 personnes. Combien y en aura-t-il sur chaque site à long terme ?

Une application propose un abonnement. Chaque mois, 20 % des abonnés (état A) résilient et 30 % des non-abonnés (état B) s'abonnent. Au mois 0, seuls 10 % des utilisateurs sont abonnés. On note aₙ la proportion d'abonnés au mois n.
a) Écrire la matrice de transition M et l'état initial P₀.
b) Montrer que aₙ₊₁ = 0,3 + 0,5 aₙ.
c) Déterminer l'état stable, puis exprimer aₙ en fonction de n.
d) À partir de quel mois la proportion d'abonnés dépasse-t-elle 59 % ?

Soit M une matrice de transition d'une chaîne de Markov à 2 états et P₀ = ( x₀ y₀ ) un état probabiliste (x₀ ≥ 0, y₀ ≥ 0, x₀ + y₀ = 1). On note M =
( m₁₁ m₁₂ )
( m₂₁ m₂₂ )
a) Démontrer que P₀ × M est encore un état probabiliste.
b) En déduire, par récurrence, que Pₙ = P₀ × Mⁿ est un état probabiliste pour tout n ≥ 0.
c) Application : avec M =
( 0,6 0,4 )
( 0,25 0,75 )
calculer M² et vérifier que c'est encore une matrice de transition.