Cap

1
Capítulo 2Cadenas de Markov

• Basado en la presentación del libro
• Investigación de Operaciones de Winston
• 4a. Edición
• Profesor A. Leonardo Bañuelos S.

2
Introducción
Algunas veces estamos interesados en el cambio de
una variable en el tiempo. El estudio de los
cambios de una variable aleatoria en el tiempo
involucra a un proceso estocástico. Aquí
estudiaremos un caso particular de un proceso
estocáctico conocido como Cadenas de
Markov Comenzaremos con la definición de proceso
estocástico.
3
Qué es un Proceso Estocástico?

• Supóngase que observamos una característica de un
  sistema en puntos de tiempo discreto.
• Sea Xt el valor del la característica del sistema
  en el tiempo t. En la mayoría de las situaciones,
  Xt no es conocido con certeza antes del tiempo t
  y puede ser considerado como una variable
  aleatoria.
• Un Proceso Estocástico de Tiempo Discreto es
  simplemente una descripción de la relación entre
  las variables aleatorias X0, X1, X2

4

• Un Proceso Estocástico de Tiempo Continuo es
  simplemente un proceso estocástico en el cual los
  estados del sistema pueden ser observados en
  cualquier instante, no solo en instantes
  discretos.
• Por ejemplo, el número de personas en un
  supermercado t minutos después de abrir la tienda
  es un proceso estocástico de tiempo continuo.

5
Qué es un Cadena de Markov?

• Un tipo especial de proceso estocástico de tiempo
  discreto.
• Definición Un proceso estocástico de tiempo
  discreto es una Cadena de Markov si, para t
  0,1,2 y todos los estadosP(Xt1 it1 Xt
  it, Xt-1it-1,,X1i1, X0i0)
  P(Xt1it1Xt it)
• Esencialmente esto significa que la distribución
  de probabilidad de los estados en el tiempo t1
  depende sólo del estado en el tiempo t(it) y no
  depende de los estados por los que pasó
  previamente para llegar a it en el tiempo t.

6

• En las cadenas de Markov que se estudiarán, se
  considerará que para todos los estados i y j y
  para cualquier tiempo t, P(Xt1 jXt i) es
  independiente del tiempo.
• Esta suposición nos permite escribir P(Xt1
  jXt i) pijdonde pij es la probabilidad de
  que el sistema pase del estado i en el tiempo t,
  al estado j en el tiempo t1.
• Si el sistema se modifica del estado i en un
  periodo, al estado j para el siguiente periodo,
  entonces se dice que ha ocurrido una transición
  de i a j .

7

• Las pij son llamadas probabilidades de
  transición de la cadena de Markov.
• La ecuación implica que las probabilidades de
  transición para los siguientes periodos no
  cambian con el tiempo.
• Generalmente se le llama suposición de
  Estacionaridad y cualquier Cadena de Markov que
  la tiene se llama Cadena de Markov Estacionaria.
• Se puede definir qi como la probabilidad de que
  la cadena se encuentre en el estado i en el
  tiempo 0 en otras palabras, P(X0i) qi.

8

• Se denotará por v v1, v2,vs al vector de
  distribución de probabilidad inicial de la cadena
  de Markov.
• Las probabilidades de transición se acostumbran
  presentar en una matriz de s x s llamada matriz
  de transición de probabilidades P. La matriz se
  escribe como

9

• Para cada i
• Cada valor en la matriz debe ser no negativo.
• La suma por renglón es igual a la probabilidad
  del espacio muestral condicional, es decir, suma
  1.

10
Probabilidades de Transición de n-Pasos

• Una cuestión de interés cuando se estudian
  cadenas de Markov es Si una cadena de Markov
  está en el estado i en el tiempo m, Cuál es la
  probabilidad de que n periodos después la cadena
  se encuentre en el estado j?
• Esta probabilidad es independiente de m, y se
  puede escribir P(Xmn jXm i) P(Xn jX0
  i) pij(n)donde pij(n) se llama probabilidad de
  n-pasos de transición del estado i al estado j.
• Para n gt 1, pij(n) ij-ésimo elemento de P n

11
Ejemplo de Refrescos

• Supóngase que la industria de refrescos produce
  solamente 2 refrescos de cola.
• Dado que una persona ha comprado Coca, existe una
  probabilidad de 0.9 de que en su siguiente
  compra consuma también Coca.
• Dado que una persona ha comprado Pepsi, existe
  una probabilidad de 0.8 de que en su siguiente
  compra consuma también Pepsi.
• Si la persona actualmente compra Pepsi, cuál es
  la probabilidd de que en 2 compras consuma Coca?
• Si la persona actualmente compra Coca, cuál es
  la probabilidd de que en 3 compras consuma Pepsi?

12
Ejemplo de Refrescos (Cont.)

• Se puede considerar la compra de cada persona
  como una Cadena de Markov, en la cual el estado
  está dado por el tipo de refresco que adquirió.
• Puesto que cada compra puede ser de dos
  refrescos, la Cadena se representa por dos
  estados,
• Estado 1 La persona compra el refresco 1
• Estado 2 La persona compra el refresco 2
• Si se define Xn como el tipo de refresco comprado
  por una persona en el n-ésimo periodo futuro,
  entonces X0, X1, puede ser descrito como una
  Cadena de Markov con la siguiente matriz de
  transición

13
Ejemplo de Refrescos (Cont.)

• Para responder a las preguntas 1 y 2,
• Se busca P(X2 1X0 2) p21(2) elemento
  2,1 de P 2

14
Ejemplo de Refrescos (Cont.)

• Se tiene, p21(2) 0.34. Esto significa que la
  probabilidad de que un cliente del refresco 2,
  compre el refresco 1 en dos compras es de 0.34.
• Utilizando la teoría de la Probabilidad, se
  podría obtener el mismo resultado.
• Se busca p11(3) elemento 1,1 de P 3
• Por lo que , p11(3) 0.781

15

• En muchas ocasiones no se conoce el estado de la
  Cadena de Markov en el tiempo 0. Entonces se
  puede calcular la probabilidad de que el sistema
  este en el estado i en el tiempo n utilizando el
  siguiente razonamiento.
• Probabilidad de estar en el estado j en el tiempo
  n donde vv1, v2, ,vn.

16

• Para ilustrar el comportamiento de la matriz de
  transición de n-pasos para valores muy grandes de
  n, se han calculado las matrices para algunos
  valores de n.
• Esto significa que para n suficientemente grande,
  no importa cuál es el estado inicial, y existe
  una probabilidad de 0.67 de que una persona
  consuma Coca.
• Podemos multiplicar fácilmente matrices en una
  hoja de cálculo usando el comando de MMULT.

17
17.4 Clasificación de estados en una cadena de
Markov

• Para entender la transición de n-pasos más
  detalladamente, necesitamos estudiar cómo los
  matemáticos clasifican los estados de una cadena
  de Markov.
• La matriz siguiente de transición ilustra la
  mayoría de las definiciones siguientes. Una
  representación gráfica se puede obtener con
  facilidad.

18

• Definición Dados dos estados i y j, una
  trayectoria i a j es una secuencia de
  transiciones que comienza en i y termina en j,
  tal que cada transición en la secuencia tiene una
  probabilidad mayor que cero de ocurrir.
• Definición Un estado j es accesible del estado
  i si hay una trayectoria que conduce de i a j.
• Definición Dos estados i y j se dice que se
  comunican si j es accesible desde i, e i es
  accesible desde j.
• Definición Un conjunto de estados S en una
  cadena de Markov es un conjunto cerrado si no hay
  estado fuera de S que sea accesible desde
  cualquier estado en S.

19

• Definición Un estado i es un estado absorbente
  si pij 0.
• Definición Un estado i es un estado transitorio
  si existe un estado j que sea accesible desde i,
  pero el estado i no es accesible desde el estado
  j.
• La importancia de estos conceptos será clara
  después de las dos secciones siguientes.

20
17.5 Probabilidades de estado estable y tiempos
de primera pasada

• Las probabilidades de estado estable se utilizan
  para describir el comportamiento a largo plazo de
  una cadena de Markov.
• Teorema 1 Sea P la matriz de transición para
  una cadena ergódica de s-estados. Entonces
  existe un vector p p1 p2 ps tal que

21

• El teorema 1 nos dice que para cualquier estado
  inicial i,
• Al vector p p1 p2 ps comúnmente se le
  llama distribución de estado estable, o
  distribución de equilibrio, para la cadena de
  Markov.

22
Análisis Transitorio e Interpretación Intuitiva

• El comportamiento de una cadena de Markov antes
  de que se alcance el estado estable es a menudo
  llamado transitorio (o a corto plazo).
• Se puede dar una interpretación intuitiva a las
  ecuaciones de probabilidad del estado
  estacionario.
• Esta ecuación puede verse en el de estado
  estacionario, como que el "flujo" de la
  probabilidad en cada estado interno debe ser
  igual a el flujo de la probabilidad de cada
  estado externo.

23
Uso de la probabilidad de estado estable en la
toma de decisiones

• En el ejemplo de los refrescos de cola, suponga
  que cada cliente consume una marca de cola
  durante cualquier semana.
• Suponga que hay 100 millones de clientes para los
  refrescos de cola.
• Cada refresco por producirlo le cuesta a la
  compañía 1 y se vende en 2

24
Toma de decisiones (Cont.)

• Por 500 millones/año, una empresa de publicidad
  garantiza una disminución del 10 al 5 en la
  porción de clientes que cambian al refresco de
  cola 1 después de una compra.
• Debe la compañía que hace el refresco de cola 2
  emplear la firma?

25

• Actualmente, la proporción p1 ? de las
  compras totales prefieren consumir el refresco
  de cola de la marca 1.
• Por cada compra del refresco de cola 1 la
  compañía obtiene 1 de ganancia. Podemos
  calcular la ganancia anual en 3.466.666.667..
• La empresa de publicidad está ofreciendo cambiar
  la matriz P a

26

• Para P1, las ecuaciones de estado estable se
  convierten en
• p1 .95p1.20p2 p2 .05p1.80p2
• Sustituyendo la segunda ecuación por p1p21 y
  resolviendo, obtenemos p10.8 y p2 0.2
• Ahora la ganancia anual de la compañía de cola 1
  será 3.660.000.000.
• Por lo tanto, la compañía que produce la cola 1
  debe emplear la agencia del anuncio.

27
Tiempos (promedio) de Primera Pasada

• Para una cadena ergódica, sea mij número
  esperado de transiciones antes de que por primera
  vez se alcance el estado j, dado que estamos
  actualmente en el estado i el mij se llama
  tiempo de primera pasada desde el estado malo del
  paso del estado i al estado i al estado j.
• En el ejemplo, asumimos que estamos actualmente
  en el estado i. Entonces con la probabilidad pij,
  tomará una transición para ir del estado i al
  estado j. para k ? j, seguiremos con la
  probabilidad pik para ir al estado k. En este
  caso, tomará un promedio de 1 para ir de i a k
  las transiciones mkj para ir de k a j

28

• Este razonamiento implica
• Para resolver las ecuaciones lineales de la
  ecuación anterior, encontramos todas los tiempos
  de primera pasada, lo cual puede hacerse así

29
Resolución por probabilidades de estado estable y
Tiempos de Primera Pasada mediante la computadora

• Podemos calcular las probabilidades de estado
  estable y los tiempos de primera pasada tal y
  como se ha mostrado o bien podemos utilizar
  LINDO, WinQSB, etc. para realizar estos cálculos
  con ayuda de la computadora
• Simplemente capture una función objetivo como 0,
  y capture en las restricciones las ecuaciones que
  necesita para obtener la solución.
• Como una alternativa, se puede utilizar el modelo
  LINGO que se encuentra en el archivo Markov.lng
  para determinar las probabilidades de estado
  estable y para calcular los tiempos de primera
  pasada para una cadena ergódica.

30
17.6 Cadenas Absorbentes

• Muchas aplicaciones interesantes de cadenas de
  Markov implican las cadenas en las cuales algunos
  de los estados están absorbiendo y el resto son
  estados transitorios.
• Este tipo de cadenas son llamadas Cadenas
  Absorbentes.
• Para ver por qué estamos interesados en las
  cadenas absorbentes consideraremos el siguiente
  ejemplo de las cuentas por cobrar.

31
Ejemplo De las Cuentas por Cobrar

• La situación de las cuentas por cobrar de una
  empresa se modela a menudo como cadena de Markov
  absorbente.
• Suponga que una firma asume que una cuenta es
  incobrable si la cuenta tiene más de tres meses
  de atraso.

32
Ejemplo de las Cuentas (Cont.)

• Entonces al principio de cada mes, cada cuenta se
  puede clasificar en uno de los estados
  siguientes
• Estado 1 Cuenta Nueva.
• Estado 2 Cuenta con un Mes de atraso en el pago.
• Estado 3 Cuenta con dos meses de atraso en el
  pago.
• Estado 4 Cuenta con tres meses de atraso en el
  pago.
• Estado 5 Cuenta pagada.
• Estado 6 Cuenta incobrable.

33

• Suponga que datos pasados indican que la cadena
  de Markov siguiente describe cómo el estado de
  una cuenta cambia de un mes a otro.

34

• Para simplificar nuestro ejemplo, asumimos que
  después de tres meses, una deuda está pagada o
  considerada deuda incobrable.
• Una vez que una deuda se paga o se considera
  incobrable, la cuenta se cierra y ya no hay
  transiciones.
• Por lo tanto, la deuda pagada o incobrable es un
  estado absorbente, y eventualmente estará en un
  estado de cuenta nueva, cuenta con 1 mes, con 2
  meses y con 3 meses, serán estados transitorios.

35

• Una nueva cuenta será absorbida como una deuda
  pagada o incobrable.
• Cuál es la probabilidad que una nueva cuenta sea
  pagada?
• Para responder esta pregunta debemos escribir la
  matriz de transición. Asumimos s - m estados
  transitorios y m estados absorbentes. La matriz
  de transición se escribe en la forma de

P
36

• La matriz de la transición para este ejemplo es
• Así s 6, m 2, y N y A como se muestran

37

1. Cuál es la probabilidad que una nueva cuenta sea
   pagada?
2. Cuál es la probabilidad que una cuenta atrasada
   un mes se convierta en incobrable?
3. Si las ventas de la empresa en promedio son de
   100.000 por mes, cuánto dinero por año será
   incobrable?

38

• Usando el método de Gauss-Jordan, encontramos que

39

• Para resolver las preguntas 1-3 requerimos de la
  computadora

40

• Así
• t1 Nueva, a1 Pagada. Así, la probabilidad que
  una nueva cuenta sea pagada es el elemento 11 de
  (I N)-1A .964.
• t2 1 mes, a2 incobrable. Así, la
  probabilidad de que una cuenta atrasada un mes se
  convierta en incobrable es el elemento 22 de (I
  N)-1A .06
• De la respuesta 1, solamente 3.6 de todas las
  deudas son incobrables. Las cuentas a pagar
  anuales son de 1,200,000 en promedio, así
  (0.036)(1,200,000) 43,200 por año serán
  incobrables.

41
17.7 Modelos para planificar la fuerza de trabajo

• Muchas organizaciones emplean varias categorías
  de trabajadores.
• Los propósitos de la planeación a largo plazo, es
  a menudo útil para predecir el número de los
  empleados de cada tipo que estarán disponibles en
  el estado estable.
• Tales predicciones se pueden hacer mediante un
  análisis similar al de las probabilidades de
  estado estable para las cadenas de Markov.
• Considere una organización en la que clasifiquen
  a sus miembros en cualquier momento en uno de s
  posibles grupos.

42
17.7 Modelos para planificar la fuerza de
trabajo (Cont.)

• Durante cada período, una porción pij de los que
  comienzan el período en el grupo i comienza la
  próxima vez el período en el grupo j.
• También durante cada período, una porción
  pi,s1 del grupo i, sus miembros dejan la
  organización.
• Sea P la matriz de s x (s1) en la cual la
  entrada ij es pij.

43
17.7 Modelos para planificar la fuerza de trabajo
(Cont.)

• Al comienzo de cada periodo, la organización
  contrata Hi miembros del grupo i.
• Sea Ni(t) el número de miembros del grupo i al
  comienzo del periodo t.

44

• Una pregunta de interés normal es si Ni(t) tiende
  al límite a medida que crece t (llamemos al
  límite Ni, si existe).
• Si cada Ni(t) no se acerca a un límite, llamamos
  N (N1, N2,,Ns) censo de estado estable de la
  organización.
• Las ecuaciones usadas para calcular el censo de
  estado estable son

45

• Observe que lo siguiente se puede utilizar para
  simplificar la ecuación anterior.
• Si no existe un censo de estado estable, entonces
  la ecuación no tendrá ninguna solución.

46
Uso de LINGO para calcular el censo de estado
estacionario

• El modelo LINGO ubicado en el archivo Census.lng
  se puede utilizar para determinar el censo de
  estado estableo para un problema del planeación
  de mano de obra.