Qu'est-ce qu'une chaîne de Markov ?

C'est, en gros, une histoire : celle d'un système qui subit au cours du temps des changements d'état, ou transitions, aléatoires, et qui, sans être tout à fait dénué de mémoire, ne garde cependant de son passé que le souvenir le plus récent.

Une particule erratique dans un espace, une population étudiée à l'égard de certains caractères biologiques, un groupe sociologique qui perd et acquiert sans cesse de nouveaux membres, un score au cours d'un jeu, un certain type de situations économiques, peuvent fournir des exemples d'une telle évolution.

Le présent ouvrage ne traite complètement que du cas particulier où, d'une part, la manière dont sont susceptibles d'intervenir les transitions, ne varie pas au cours du temps, et où, d'autre part, le nombre des états que peut prendre le système est fini.

Le sujet étant ainsi délimité, il est possible d'en pousser très loin l'étude et d'aboutir à des conclusions pratiques simples et directement utilisables. Or il se trouve que les processus qui satisfont les deux restrictions ci-dessus, sont justement les plus fréquemment rencontrés dans les problèmes réels.