Procesos de Markov

En la teoría de la probabilidad, se conoce también como cadena de Márkov o modelo de Márkov a un tipo especial de proceso estocástico discreto en el que la probabilidad de que ocurra un suceso depende solamente del suceso inmediatamente anterior. Esta característica de falta de memoria recibe el nombre de propiedad de Márkov. Recibe su nombre del matemático ruso Andréi Márkov (1856-1922), que lo introdujo en 1907.

• Cadena de Markov: proceso estocástico de tiempo discreto que para t=0,1,2,... y todos los estados verifica: $$P(X_{t+1}=i_{t+1} | X_t=i_t, X_{t-1}=i_{t-1}, ..., X_1=i_1, X_0=i_0)=$$ $$P(X_{t+1}=i_{t+1}|X_t=i_t)$$
• Hipótesis de estabilidad (no depende de t) y probabilidad de transición: $$P(X_{t+1}=j|X_t=i)=p_{ij} $$
• Matriz de probabilidades de transición: $$P=\begin{bmatrix} p_{11} & p_{12} & \ldots & p_{1n}\\ p_{21} &p_{22} & \ldots & p_{2n} \\ \vdots&&&\vdots \\ p_{n1} & p_{n2} &\ldots & p_{nn}\end{bmatrix}$$
• Se debe cumplir: $$\sum_{j=1}^{n}p_{ij}=1$$
• Distribución inicial de probabilidad de una cadena de Markov: $$q=\left [ q_1,q_2, \cdots q_n \right ]$$ $$\ q_i=P(X_0=i)$$
• La distribución de probabilidad en la etapa k es: $$qP^k$$
• Si P es la matriz de transición de una cadena ergódica (existe alguna potencia positiva de la matriz de transición cuyas entradas sean todas estrictamente mayores que cero) de n estados, entonces existe un vector: $$\pi=\left [ \pi_1,\pi_2, \cdots \pi_n \right ]$$ $$\displaystyle\lim_{n \rightarrow \infty} P^n=\begin{bmatrix} \pi_1 & \pi_2 & \ldots & \pi_n\\ \pi_1 &\pi_2 & \ldots & \pi_n \\ \vdots&&&\vdots \\ \pi_1 & \pi_2 &\ldots & \pi_n\end{bmatrix}$$
• El valor de ese vector de estabilidad se puede obtener resolviendo el sistema matricial: $$\pi=\pi P$$
• Y con la condición siguiente que evita que el sistema sea indeterminado: $$ \pi_1+\pi_2+\cdots \pi_n=1$$

EJEMPLO: Una compañía de elaboración de zumos de naranja, limón y piña tiene un estudio sobre los criterios de sus consumidores. Es decir, conoce la probabilidad de elegir el mismo zumo o cambiar a otro en la próxima compra. Al ser un proceso de tres estados, el esquema con las probabilidades de transición se muestran en el grafo.

La matriz de transición recoge los valores conocidos por la empresa: $$\begin{bmatrix} p_{nn}=0.6 & p_{nl}=0.1 & p_{np}=0.3\\ p_{ln}=0.2 &p_{ll}=0.6 & p_{lp}=0.2 \\ p_{pn}=0.2 & p_{pl}=0.4 & p_{pp}=0.4\end{bmatrix}$$ Sigue las instrucciones de utilización del modelo de Excel que puedes descargar a continuación:

• Se puede modificar distribución inicial actuando sobre los estados E1 y E2.
• Se puede modificar la matriz de transición actuando sobre dos de los elementos de cada fila.
• Se muestra la evolución de la distribución de probabilidad con el tiempo y las gráficas correspondientes de cada estado.
• Se puede observar que el proceso se estabiliza dependiendo exclusivamente de la matriz de transición. La distribución de partida es irrelevante.

Descargar .XLS