CADENA DE MARKOV 

La cadena de Markov, también conocida como modelo de Markov o proceso de Markov, es un concepto desarrollado dentro de la teoría de la probabilidad y la estadística que establece una fuerte dependencia entre un evento y otro suceso anterior. Su principal utilidad es el análisis del comportamiento de procesos estocásticos.

También se conoce como cadena simple biestable de Markov.

Según señaló Markov, en sistemas o procesos estocásticos (es decir, aleatorios) que presentan un estado presente es posible conocer sus antecedentes o desarrollo histórico. Por lo tanto, es factible establecer una descripción de la probabilidad futura de los mismos.

Más formalmente, la definición supone que en procesos estocásticos la probabilidad de que algo suceda solamente depende del pasado histórico de la realidad que estamos estudiando. Por este motivo, a menudo se dice que estas cadenas cuentan con memoria.

La base de las cadenas es la conocida como propiedad de Markov, la cual resume lo dicho anteriormente en la siguiente regla: lo que la cadena experimente en un momento t + 1 solamente depende de lo acontecido en el momento t (el inmediatamente anterior).

Dada esta sencilla explicación de la teoría, puede observarse que es posible a través de la misma conocer la probabilidad de que un estado ocurra en el largo plazo. Esto ayuda indudablemente a la predicción y estimación en largos periodos de tiempo.

¿Dónde se utiliza la cadena de Markov?

Las cadenas de Markov han experimentado una importante aplicación real en el ámbito de los negocios y las finanzas. Esto, al permitir, como se ha señalado, analizar y estimar futuros patrones de conducta de los individuos atendiendo a la experiencia y los resultados anteriores.

Lo anterior puede reflejarse en diferentes campos como la morosidad, el estudio de las conductas de consumidores, la demanda estacional de mano de obra, entre otros.

El sistema elaborado por Markov es bastante sencillo y cuenta, como hemos dicho, con una aplicación práctica bastante fácil. Sin embargo, muchas voces críticas señalan que un modelo tan simplificado no puede ser totalmente efectivo en procesos complejos.

Ejemplos:

1. Una empresa esta considerando utilizar Cadenas de Markov para analizar los cambios en las preferencias de los usuarios por tres marcas distintas de un determinado producto. El estudio ha arrojado la siguiente estimación de la matriz de probabilidades de cambiarse de una marca a otra cada mes:

Si en la actualidad la participación de mercado es de 45%, 25% y 30%, respectivamente. ¿Cuales serán las participaciones de mercado de cada marca en dos meses más?.

En primer lugar definimos la variable aleatoria  que representa la marca que adquiere un cliente cualquiera en el mes n. Dicha variable aleatoria puede adoptar los valores 1,2,3 en el mes n=0,1,2,3,..

Adicionalmente conocemos cuál es la distribución inicial y la matriz de probabilidades de transición en una etapa tal como se observa a continuación:

Luego para conocer la distribución de las participaciones de mercado al cabo de 2 meses (2 etapas) podemos utilizar la fórmula :

Se concluye que las cuotas de mercado (participaciones de mercado) en dos meses a cambiado de un 45% a un 40.59%; de un 25% a un 33.91% y de un 30% a un 25.50%, para las marcas 1,2 y 3 respectivamente

Ejemplo No. 2

En una Unidad de Cuidados Intensivos en un determinado hospital, cada paciente es clasificado de acuerdo a un estado crítico, serio o estable. Estas clasificaciones son actualizadas cada mañana por un médico internista, de acuerdo a la evaluación experimentada por el paciente. Las probabilidades con las cuales cada paciente se mueve de un estado a otro se resumen en la tabla que sigue:

¿Cuál es la probabilidad que un paciente en estado crítico un día Jueves esté estable el día Sábado?.

Sea  la variable aleatoria que indica el estado que se encuentra un paciente cualquiera en el hospital en el día n. Los valores posibles para dicha variable son C, S y E, representando los estados crítico, serio y estable, respectivamente. Un grafo que representa dicho proceso estocástico dada la tabla anterior es:

La probabilidad de que un paciente esté en estado crítico el día Jueves y que el día Sábado esté estable, esta dado por: , es decir, la probabilidad de pasar del estado crítico al estado estable al cabo de 2 etapas (días).

Notar que de forma equivalente se pueden utilizar las ecuaciones matriciales :

Se comprueba que la probabilidad de pasar del estado crítico al estado estable al cabo de 2 etapas es de un 17%.

¿Cuál es la probabilidad que un paciente que está en estado estable el Lunes experimente alguna complicación y no esté estable nuevamente el Miércoles?.

En este caso cambia la distribución inicial respecto al escenario anterior (ahora el paciente está en estado estable), no obstante, también resulta de nuestro interés analizar qué sucede al cabo de 2 etapas.

Con color verde se marca la probabilidad de que comenzando en un estado estable al cabo de 2 días un paciente se encuentre en estado crítico o serio. La suma de dichas probabilidades es un 66% que da respuesta a la interrogante anterior.

¿Qué porcentaje de la Unidad de Cuidados Intensivos usted diseñaría y equiparía para pacientes en estado crítico?.

Naturalmente se desea estimar la probabilidades de estado en el largo plazo independiente de la distribución inicial. La cadena es irreducible con estados recurrentes positivos aperiódicos. Utilizando las ecuaciones de estado estable presentadas en el Ejercicio N°2 se obtiene que ,  y , que representan la probabilidad de que un individuo se encuentre en estado crítico, serio y estable, respectivamente.