Chaînes de Markov

Parmi les trois matrices suivantes, indiquer lesquelles sont des matrices de transition (matrices stochastiques) et justifier.
M₁ =
( 0,7 0,3 )
( 0,4 0,6 )
M₂ =
( 0,5 0,6 )
( 0,2 0,8 )
M₃ =
( 0,2 0,8 )
( 1 0 )

On modélise l'évolution entre deux états A et B. À chaque étape, on passe de A à B avec la probabilité 0,25 et de B à A avec la probabilité 0,5.
a) Écrire la matrice de transition M en rangeant les états dans l'ordre A puis B.
b) Quelle est la probabilité de rester en A d'une étape à la suivante ?

Un mobile se déplace entre trois positions 1, 2, 3. À chaque étape : depuis 1 il va en 2 (proba 0,6) ou reste en 1 (proba 0,4) ; depuis 2 il va en 1 (proba 0,3), reste en 2 (proba 0,3) ou va en 3 (proba 0,4) ; depuis 3 il va en 2 (proba 0,5) ou reste en 3 (proba 0,5).
a) Écrire la matrice de transition M.
b) Vérifier que M est une matrice stochastique.

Un graphe probabiliste a deux sommets A et B. On lit sur le graphe : l'arc allant de A vers B est étiqueté 0,4 et l'arc allant de B vers A est étiqueté 0,15 ; il y a aussi une boucle sur A et une boucle sur B.
a) Quelles sont les étiquettes des deux boucles ?
b) Écrire la matrice de transition M associée (ordre A, B).

On donne la matrice de transition d'une chaîne de Markov à trois états 1, 2, 3 :
M =
( 0,5 0,2 0,3 )
( 0,1 0,8 0,1 )
( 0,25 0,25 0,5 )
a) Vérifier que M est bien une matrice de transition.
b) Quelle est la probabilité de passer de l'état 2 à l'état 3 en une étape ?
c) Quelle est la probabilité de rester dans l'état 3 ?

Compléter la matrice de transition suivante, sachant que x, y et z sont des réels positifs :
M =
( 0,45 x 0,2 )
( 0,3 0,3 y )
( z 0,6 0,25 )

Parmi les vecteurs lignes suivants, lesquels peuvent être un état probabiliste d'une chaîne de Markov à deux états ? Justifier.
P₁ = ( 0,3 0,7 )
P₂ = ( 0,5 0,6 )
P₃ = ( 1,2 −0,2 )
P₄ = ( $\frac{1}{4}$ $\frac{3}{4}$ )

Une chaîne de Markov à trois états 1, 2, 3 a pour matrice de transition
M =
( 0,7 0,2 0,1 )
( 0,3 0,4 0,3 )
( 0,2 0,2 0,6 )
On part de l'état 2, c'est-à-dire P₀ = ( 0 1 0 ).
a) Sans poser de calcul, donner P₁.
b) Quelle est la probabilité d'être dans l'état 1 après une étape ?

Une chaîne de Markov à deux états A et B a pour matrice de transition
M =
( 0,9 0,1 )
( 0,25 0,75 )
Décrire en français le graphe probabiliste associé : donner les quatre transitions et leur probabilité.

Dans une cantine, chaque élève choisit chaque jour entre le menu classique (C), le menu végétarien (V) ou manger à l'extérieur (E). On observe : depuis C, 70 % gardent C, 20 % passent à V et 10 % à E ; depuis V, 30 % passent à C, 60 % gardent V et 10 % passent à E ; depuis E, 40 % passent à C, 20 % à V et 40 % restent à E.
Écrire la matrice de transition M (ordre C, V, E) et vérifier que c'est bien une matrice de transition.