Chaînes de Markov

Un jeton se déplace au hasard sur les 3 sommets d'un triangle 1, 2, 3. À chaque étape, il passe sur l'un des deux autres sommets, chacun avec la probabilité 0,5.
Déterminer l'état stable $P = \begin{pmatrix} x & y & z \end{pmatrix}$.

Une entreprise répartit son personnel entre trois sites 1, 2, 3. Chaque année, les mutations suivent la matrice de transition
M = $\begin{pmatrix} 0{,}6 & 0{,}4 & 0 \\ 0{,}2 & 0{,}6 & 0{,}2 \\ 0 & 0{,}4 & 0{,}6 \end{pmatrix}$
L'entreprise emploie 2 000 personnes. Combien y en aura-t-il sur chaque site à long terme ?

On étudie une chaîne de Markov générale à deux états A et B : on passe de A à B avec la probabilité a et de B à A avec la probabilité b, où $0 < a < 1$ et $0 < b < 1$. On note $a_n$ la probabilité d'être en A à l'étape n.
Établir que $a_{n+1} = b + (1 - a - b) a_{n}$, puis montrer que ($a_n$) converge et donner sa limite.

On modélise un mini-web de 3 pages 1, 2, 3 par un graphe orienté : la page 1 pointe vers 2 et 3 ; la page 2 pointe vers 3 ; la page 3 pointe vers 1. Un internaute clique au hasard, de façon équiprobable, sur l'un des liens sortants de la page où il se trouve.
Quelles pages arrivent en tête ?

Dans une ville, on observe chaque jour le temps : Soleil (S) ou Pluie (P). Si un jour est ensoleillé, le lendemain l'est aussi avec la probabilité 0,8. S'il pleut, le lendemain est ensoleillé avec la probabilité 0,6. Le jour 0 est ensoleillé. On note $s_n$ la probabilité que le jour n soit ensoleillé.
a) Écrire la matrice de transition M (ordre S, P).
b) Montrer que $s_{n+1} = 0{,}6 + 0{,}2\,\text{s}_{n}$.
c) Déterminer la limite éventuelle ℓ de ($s_n$).
d) Exprimer $s_n$ en fonction de n, puis retrouver la limite.
e) Interpréter le résultat.

Une agence de location possède 3 points de retrait 1, 2, 3. Les voitures circulent selon la matrice de transition
M = $\begin{pmatrix} 0{,}5 & 0{,}3 & 0{,}2 \\ 0{,}1 & 0{,}7 & 0{,}2 \\ 0{,}2 & 0{,}2 & 0{,}6 \end{pmatrix}$
Interpréter : à long terme, quelle est la répartition des voitures ?

Une puce se déplace le long d'une rangée de 4 cases $1-2-3-4$ (chaque case est reliée à ses voisines immédiates). À chaque étape, elle passe sur une case voisine choisie au hasard, de façon équiprobable.
a) Écrire la matrice de transition M.
b) Déterminer l'état stable $P = \begin{pmatrix} a & b & c & d \end{pmatrix}$ en résolvant $P = P \times M$ avec $a + b + c + d = 1$.
c) Vérifier que cette distribution est proportionnelle au degré de chaque case dans le graphe.

Une machine peut être « en marche » (état A) ou « en panne » (état B). Chaque jour : si elle marche, elle tombe en panne avec la probabilité 0,1 ; si elle est en panne, elle est réparée (et remarche) avec la probabilité 0,4. Au jour 0 elle marche. On note $a_n$ la probabilité qu'elle marche le jour n.
Déterminer le plus petit entier n tel que $a_{n} \le 0{,}81$.

Une application propose un abonnement. Chaque mois, 20 % des abonnés (état A) résilient et 30 % des non-abonnés (état B) s'abonnent. Au mois 0, seuls 10 % des utilisateurs sont abonnés. On note $a_n$ la proportion d'abonnés au mois n.
À partir de quel mois la proportion d'abonnés dépasse-t-elle 59 % ?

Soit M une matrice de transition d'une chaîne de Markov à 2 états et $P_{0} = \begin{pmatrix} x_{0} & y_{0} \end{pmatrix}$ un état probabiliste $(x_{0} \ge 0, y_{0} \ge 0, x_{0} + y_{0} = 1)$. On note M = $\begin{pmatrix} m_{11} & m_{12} \\ m_{21} & m_{22} \end{pmatrix}$
Application : avec M = $\begin{pmatrix} 0{,}6 & 0{,}4 \\ 0{,}25 & 0{,}75 \end{pmatrix}$
calculer $M^{2}$ et vérifier que c'est encore une matrice de transition.