Chaînes de Markov

Une chaîne de Markov à deux états A et B a pour matrice de transition
M = $\begin{pmatrix} 0{,}9 & 0{,}1 \\ 0{,}25 & 0{,}75 \end{pmatrix}$
Décrire en français le graphe probabiliste associé : donner les quatre transitions et leur probabilité.

On donne la matrice de transition d'une chaîne de Markov à trois états 1, 2, 3 :
M = $\begin{pmatrix} 0{,}5 & 0{,}2 & 0{,}3 \\ 0{,}1 & 0{,}8 & 0{,}1 \\ 0{,}25 & 0{,}25 & 0{,}5 \end{pmatrix}$
a) Vérifier que M est bien une matrice de transition.
b) Quelle est la probabilité de passer de l'état 2 à l'état 3 en une étape ?
c) Quelle est la probabilité de rester dans l'état 3 ?

Parmi les trois matrices suivantes, indiquer lesquelles sont des matrices de transition (matrices stochastiques) et justifier.
$M_{1}$ = $\begin{pmatrix} 0{,}7 & 0{,}3 \\ 0{,}4 & 0{,}6 \end{pmatrix}$
$M_{2}$ = $\begin{pmatrix} 0{,}5 & 0{,}6 \\ 0{,}2 & 0{,}8 \end{pmatrix}$
$M_{3}$ = $\begin{pmatrix} 0{,}2 & 0{,}8 \\ 1 & 0 \end{pmatrix}$

Parmi les vecteurs lignes suivants, lesquels peuvent être un état probabiliste d'une chaîne de Markov à deux états ? Justifier.
$P_{1} = \begin{pmatrix} 0{,}3 & 0{,}7 \end{pmatrix}$
$P_{2} = \begin{pmatrix} 0{,}5 & 0{,}6 \end{pmatrix}$
$P_{3} = \begin{pmatrix} 1{,}2 & -0{,}2 \end{pmatrix}$
$P_{4} = \begin{pmatrix} \frac{1}{4} & \frac{3}{4} \end{pmatrix}$

On modélise l'évolution entre deux états A et B. À chaque étape, on passe de A à B avec la probabilité 0,25 et de B à A avec la probabilité 0,5.
a) Écrire la matrice de transition M en rangeant les états dans l'ordre A puis B.
b) Quelle est la probabilité de rester en A d'une étape à la suivante ?

Un graphe probabiliste a deux sommets A et B. On lit sur le graphe : l'arc allant de A vers B est étiqueté 0,4 et l'arc allant de B vers A est étiqueté 0,15 ; il y a aussi une boucle sur A et une boucle sur B.
a) Quelles sont les étiquettes des deux boucles ?
b) Écrire la matrice de transition M associée (ordre A, B).

Compléter la matrice de transition suivante, sachant que x, y et z sont des réels positifs :
M = $\begin{pmatrix} 0{,}45 & x & 0{,}2 \\ 0{,}3 & 0{,}3 & y \\ z & 0{,}6 & 0{,}25 \end{pmatrix}$

Dans une cantine, chaque élève choisit chaque jour entre le menu classique (C), le menu végétarien (V) ou manger à l'extérieur (E). On observe : depuis C, 70 % gardent C, 20 % passent à V et 10 % à E ; depuis V, 30 % passent à C, 60 % gardent V et 10 % passent à E ; depuis E, 40 % passent à C, 20 % à V et 40 % restent à E.
Écrire la matrice de transition M (ordre C, V, E) et vérifier que c'est bien une matrice de transition.

Une chaîne de Markov à trois états 1, 2, 3 a pour matrice de transition
M = $\begin{pmatrix} 0{,}7 & 0{,}2 & 0{,}1 \\ 0{,}3 & 0{,}4 & 0{,}3 \\ 0{,}2 & 0{,}2 & 0{,}6 \end{pmatrix}$
On part de l'état 2, c'est-à-dire $P_{0} = \begin{pmatrix} 0 & 1 & 0 \end{pmatrix}$.
a) Sans poser de calcul, donner $P_{1}$.
b) Quelle est la probabilité d'être dans l'état 1 après une étape ?

Un mobile se déplace entre trois positions 1, 2, 3. À chaque étape : depuis 1 il va en 2 (proba 0,6) ou reste en 1 (proba 0,4) ; depuis 2 il va en 1 (proba 0,3), reste en 2 (proba 0,3) ou va en 3 (proba 0,4) ; depuis 3 il va en 2 (proba 0,5) ou reste en 3 (proba 0,5).
a) Écrire la matrice de transition M.
b) Vérifier que M est une matrice stochastique.