En la teoría de la probabilidad, se conoce también como cadena de Márkov o modelo de Márkov a un tipo especial de proceso estocástico discreto en el que la probabilidad de que ocurra un suceso depende solamente del suceso inmediatamente anterior. Esta característica de falta de memoria recibe el nombre de propiedad de Márkov. Recibe su nombre del matemático ruso Andréi Márkov (1856-1922), que lo introdujo en 1907.
- Cadena de Markov: proceso estocástico de tiempo discreto que para t=0,1,2,... y todos los estados verifica: $$P(X_{t+1}=i_{t+1} | X_t=i_t, X_{t-1}=i_{t-1}, ..., X_1=i_1, X_0=i_0)=$$ $$P(X_{t+1}=i_{t+1}|X_t=i_t)$$
- Hipótesis de estabilidad (no depende de t) y probabilidad de transición: $$P(X_{t+1}=j|X_t=i)=p_{ij} $$
- Matriz de probabilidades de transición: $$P=\begin{bmatrix} p_{11} & p_{12} & \ldots & p_{1n}\\ p_{21} &p_{22} & \ldots & p_{2n} \\ \vdots&&&\vdots \\ p_{n1} & p_{n2} &\ldots & p_{nn}\end{bmatrix}$$
- Se debe cumplir: $$\sum_{j=1}^{n}p_{ij}=1$$
- Distribución inicial de probabilidad de una cadena de Markov: $$q=\left [ q_1,q_2, \cdots q_n \right ]$$ $$\ q_i=P(X_0=i)$$
- La distribución de probabilidad en la etapa k es: $$qP^k$$
- Si P es la matriz de transición de una cadena ergódica (existe alguna potencia positiva de la matriz de transición cuyas entradas sean todas estrictamente mayores que cero) de n estados, entonces existe un vector: $$\pi=\left [ \pi_1,\pi_2, \cdots \pi_n \right ]$$ $$\displaystyle\lim_{n \rightarrow \infty} P^n=\begin{bmatrix} \pi_1 & \pi_2 & \ldots & \pi_n\\ \pi_1 &\pi_2 & \ldots & \pi_n \\ \vdots&&&\vdots \\ \pi_1 & \pi_2 &\ldots & \pi_n\end{bmatrix}$$
- El valor de ese vector de estabilidad se puede obtener resolviendo el sistema matricial: $$\pi=\pi P$$
- Y con la condición siguiente que evita que el sistema sea indeterminado: $$ \pi_1+\pi_2+\cdots \pi_n=1$$