Un client change de fournisseur, la météo passe du soleil à la pluie, un internaute clique d’une page à l’autre : à chaque étape, le système passe d’un état à un autre avec une certaine probabilité, qui ne dépend que de l’état présent. Ces modèles s’appellent des chaînes de Markov ; on les étudie avec des matrices.
Une question sur ce cours ?
ULU, le tuteur d’ULUMINE, t’aide à partir de ce cours.
Objectifs
- Représenter une chaîne de Markov par un graphe probabiliste et une matrice de transition
- Calculer la distribution πₙ à l’aide de πₙ₊₁ = πₙP et πₙ = π₀Pⁿ
- Déterminer une distribution invariante
- Étudier une suite de matrices Uₙ₊₁ = AUₙ + B
1. Graphe probabiliste et matrice de transition
Chaîne de Markov : Une suite de variables aléatoires (Xₙ) à valeurs dans un ensemble fini d’états est une chaîne de Markov homogène si la probabilité de passer de l’état i à l’état j à l’étape suivante ne dépend ni de n ni des états antérieurs. On la note pij = P(Xₙ = i)(Xₙ₊₁ = j).
- Le graphe probabiliste a pour sommets les états ; l’arc i → j porte le poids pij.
- La matrice de transition P a pour coefficients pij (ligne = état de départ, colonne = état d’arrivée).
- Les poids issus d’un sommet, comme les coefficients de chaque ligne de P, ont pour somme 1.
Deux états A et B
Un abonné du fournisseur A le reste le mois suivant avec probabilité 0,9 ; un abonné de B passe chez A avec probabilité 0,2.
- pAA = 0,9, pAB = 0,1 ; pBA = 0,2, pBB = 0,8
- P = (0,9 0,1 ; 0,2 0,8)
2. Évolution de la distribution
La distribution à l’étape n est la matrice ligne πₙ des probabilités d’être dans chaque état. La formule des probabilités totales donne :
πₙ₊₁ = πₙP et donc πₙ = π₀Pⁿ
Avec P = (0,9 0,1 ; 0,2 0,8) et π₀ = (1 0)
- π₁ = π₀P = (0,9 0,1)
- π₂ = π₁P = (0,9 × 0,9 + 0,1 × 0,2 ; 0,9 × 0,1 + 0,1 × 0,8) = (0,83 0,17)
Après deux mois, la probabilité d’être chez A est 0,83.
3. Distribution invariante
Distribution invariante : Une distribution π (coefficients positifs de somme 1) est invariante (ou stationnaire) si π = πP.
Recherche pour P = (0,9 0,1 ; 0,2 0,8)
- On pose π = (a b) avec a + b = 1.
- π = πP donne a = 0,9a + 0,2b, soit 0,1a = 0,2b, donc a = 2b.
- a + b = 1 ⟹ b = et a = .
π = ( ).
4. Suites de matrices colonnes
Une relation Uₙ₊₁ = AUₙ + B (A carrée, Uₙ et B colonnes) modélise par exemple deux populations qui évoluent ensemble. Si une colonne C vérifie C = AC + B, alors Vₙ = Uₙ − C vérifie Vₙ₊₁ = AVₙ, d’où Uₙ = Aⁿ(U₀ − C) + C.
Chaîne à deux états vue comme une suite
- Avec P = (0,9 0,1 ; 0,2 0,8) et πₙ = (aₙ 1 − aₙ) :
- aₙ₊₁ = 0,9aₙ + 0,2(1 − aₙ) = 0,7aₙ + 0,2
- Point fixe : a = ; aₙ = + (a₀ − ) × 0,7ⁿ
Comme 0,7ⁿ tend vers 0, aₙ tend vers .
À retenir
- Matrice de transition : ligne = départ, colonne = arrivée ; chaque ligne a pour somme 1.
- πₙ₊₁ = πₙP et πₙ = π₀Pⁿ.
- Distribution invariante : π = πP avec somme des coefficients égale à 1.
- Uₙ₊₁ = AUₙ + B : on se ramène à Vₙ₊₁ = AVₙ en retranchant un point fixe.
Et maintenant, à toi !
Vérifie que tu as compris avec les exercices, puis révise avec la fiche.