Chaîne de Markov

CHAINE DE MARKOV

     En mathématiques, une chaîne de Markov est un processus stochastique possédant la propriété markovienne. Dans un tel processus, la prédiction du futur à partir du présent ne nécessite pas la connaissance du passé. Elles ont pris le nom de leur découvreur, Andrei Markov.

     Une chaîne de Markov en temps discret est une séquence X1, X2, X3, ... de variables aléatoires. L'ensemble de leurs valeurs possibles est appelé l’espace d'états, la valeur Xn étant l'état du processus au moment n.

     Si la distribution de probabilité conditionnelle de Xn+1 sur les états passés est une fonction de Xn seul, alors :

où x est un état quelconque du processus. L'identité ci-dessus identifie la probabilité markovienne.

     Andrei Markov a publié les premiers résultats de ces processus en 1906.

     Une généralisation à un espace d'états infini dénombrable a été donnée par Kolmogorov en 1936.

     Les chaînes de Markov sont liées au mouvement brownien et à l'hypothèse ergodique, deux sujets de physique statistique qui ont été très importants au début du XXe siècle.