Introduccin a las Cadenas de Markov de Parmetro Continuo

1
Introducción a las Cadenas de Markov de Parámetro
Continuo
2
Índice

• Introducción
• Propiedades Markovianas.
• Modelado de un sistema.
• Condiciones iniciales.
• Dinámica.
• Qué es resolver una cadena de Markov?
• Introducción a la solución del modelo.
• Solución general del modelo.
• Solución estacionaria del modelo.
• Principio de Balance Global.
• Solución de Ecuaciones de Balance Global.
• Conclusiones de las soluciones presentadas.
• Ejemplos CMPC de dos estados.
• Problemas.
• Ejemplos CMPC de tres estados, uno absorbente.
• Referencias y Bibliografía.
• Anexo 1 Propiedad Memoryless de la Exponencial.
• Anexo 2 Clasificación de estados en CMPC.

3
Introducción
Las cadenas de Markov son un modelo que permite
representar fenómenos de la realidad. La
palabra fenómeno en la lengua española significa
lo que de las cosas puede percibirse por los
sentidos, o bien, desde otro punto de vista, la
manifestación de una actividad que se produce en
la naturaleza. Pero, qué puede percibirse
con los sentidos? o qué es una manifestación de
la naturaleza?.
4
Introducción
Al parecer, ambas preguntas podrían responderse
con el concepto cambio. Así, una cadena de
Markov es un modelo matemático que permite
representar un fenómeno a partir de las
transiciones que experimenta un determinado
sistema desde su condición inicial.
Condición Inicial del sistema
Modelo Matemático
Sistema
Dinámica del sistema
Solución del Modelo (Predicción del
comportamiento del sistema)
Realidad (comportamiento del sistema)
5
Introducción
Condición Inicial del sistema
Proceso Estocástico
Modelo Matemático
Dinámica del sistema
Solución del Modelo (Predicción del
comportamiento del sistema)
Una cadena de Markov es un proceso estocástico
que describe el comportamiento probabilístico de
un sistema conforme varía el parámetro tiempo.
6
Componentes de una CMPC
Espacio de Estados y Parámetro
Una cadena de Markov de parámetro continuo
(CMPC), es un proceso estocástico X(t), donde
X(t) corresponde a una de las posibles
configuraciones que puede adoptar el sistema en
un instante t, con t ? 0. Se llama estado del
sistema a una de sus posibles configuraciones, y
que para este modelo en particular, es un
conjunto numerable. De allí el nombre cadena
de Markov, ya que la palabra cadena indicará
que el espacio de estados del proceso estocástico
es discreto. El parámetro del proceso es el
tiempo ? 0, ?), en consecuencia, el proceso es
de parámetro continuo.
7
Componentes de una CMPC
Espacio de Estados y Parámetro

• Para la CMPC se define
• ? e1, e2, e3, ..., el espacio de estados.
• t ? 0, ?), el parámetro.

Una manera de representar la CMPC es a través de
un grafo. El conjunto ? son los nodos, y las
flechas son las transiciones entre estados del
sistema.
8
Componentes de una CMPC
Proceso Estocástico
Una CMPC es un proceso estocástico, y como tal,
tiene tres componentes fundamentales espacio de
estados, parámetro y dinámica. Ya se definieron
el espacio de estados y el parámetro. Ahora es
necesario describir la dinámica.
Espacio de Estados
Parámetro
Dinámica del sistema
9
Componentes de una CMPC
Dinámica
La dinámica del proceso se resume en el conjunto
de transiciones entre estados de la cadena.
Una forma de clasificar los procesos
estocásticos, es según si cumplen o no las
propiedades markovianas. Tales propiedades
caracterizan el comportamiento de las
transiciones entre los estados de un proceso.
10
Dinámica de una CMPC
Propiedades de la Dinámica
Un proceso estocástico es llamado cadena de
Markov si cumple las dos propiedades siguientes
Propiedad Markoviana 1 El tiempo de
permanencia en un estado no depende de cuanto
tiempo se permanezca en dicho estado (tiempo de
permanencia sin memoria). Propiedad Markoviana
2 La transición a un próximo estado sólo
depende del estado actual y no del pasado.
11
Dinámica de una CMPC
Propiedad Markoviana 1
Sea ti,j el tiempo de permanencia del sistema en
el estado ei antes de transitar al estado ej, con
ei,ej ? ?. El tiempo ti,j es una variable
aleatoria con distribución exponencial de
parámetro li,j.
12
Dinámica de una CMPC
Representación de la dinámica
Recordando que una CMPC puede ser representada en
un grafo. A cada flecha que conecta dos estados
se le asocia el tiempo que transcurre hasta que
se efectúa esa transición, este tiempo es una
v.a. exp().
13
Dinámica de una CMPC
Representación gráfica de CMPC
Como todos los tiempos asociados a las
trancisiones entre estados del sistema son v.a.
con distribución exponencial, se puede
simplificar la notación escribiendo sólo el
parámetro l correspondiente sobre cada flecha del
grafo. De ahora en adelante esta es la notación
que se usará para la representación gráfica de la
cadena.
14
Dinámica de una CMPC
Representación Matricial de CMPC
Otra manera de representar la cadena es a través
de una matriz M que contiene los parámetros li,j,
donde los subíndices i, j indican la posición
(fila,columna) . Ej
Estado Destino ej ? ?
?
?
ù
é
K
1,2
1,1
ú
ê
?
O
M
ú
ê
2,1
ú
ê
i,j
Estado Origen ei ? ?
ú
ê
O
M
û
ë
15
Dinámica de una CMPC
Propiedad Markoviana 1
Se vió que ti,j, el tiempo de permanencia del
sistema en el estado ei antes de transitar al
estado ej, tiene distribución exponencial.
Note que , corresponde al
tiempo en que el sistema se mantiene en un estado
ei ? ?, antes de transitar a cualquier otro
estado (salir del estado Ei).
?i,0
Primer estado de la cadena
e0
?i,1
. . .
ei
n-ésimo estado de la cadena
en
?i,n
. . .
16
Dinámica de una CMPC
Propiedad Markoviana 1
Basándose en REF 5, se sabe que ti es una
variable aleatoria que se distribuye
exponencialmente con parámetro li, donde
Sea Ti el tiempo medio de permanencia del sistema
en el estado ei, en consecuencia
Anexo 1 Prop. Memoryless
17
Dinámica de una CMPC
Propiedad Markoviana 2
El proceso estocástico X(t), t ? 0, que modela
el comportamiento de un sistema, cumple con la
propiedad markoviana 2 si
para 0ltt0ltt1ltt2lt...lttnlttlt tDt,
ei
ej
xn
x0
x1
x2
...
t
tn
t
t Dt
t0
t1
t2
La propiedad markoviana 2 significa que la
transición del sistema a un próximo estado sólo
depende del estado actual y no de su historia.
18
Introducción a la solución de una CMPC

• Hasta ahora, se han descrito las componentes de
  la cadena
• Espacio de Estados ? e1, e2, e3, ...
• Parámetro t ? 0, ?)
• Dinámica ?i,j ? ei, ej tal que iltgtj
• Qué es resolver una cadena de Markov?.
• Consiste en evaluar la probabilidad, para
  cualquier instante de tiempo, de que el sistema
  este en cada uno de sus estados.

19
Condición Inicial del Sistema
CMPC
Espacio de Estados
Parámetro
Dinámica del sistema
20
Condición Inicial del Sistema
En un comienzo el sistema tiene asociada una
probabilidad específica de estar en cada una de
sus posibles configuraciones.
Entonces, la condición inicial del sistema
corresponde a la distribución de probabilidad de
los estados en el instante inicial t0, o
equivalentemente la función de masa de
probabilidad inicial, es decir
PX(t0) ek, ? ek??.
PX(t0)ek ? ek??
Condición Inicial Función de masa de probabilidad
PX(t0)ek, ? ek?? en el instate inicial t0.
t0
. . .
ek
...
Estados
e0
21
Solución del Modelo
La finalidad de estudiar las CMPC es poder
representar un fenómeno. Entonces, una vez que
se tiene

• la condición inicial del sistema,
• la dinámica

Se puede obtener la solución del modelo
matemático, la cual transforma los dos
componentes anteriores en un resultado
cuantitativo. Es decir permite predecir el
comportamiento del sistema.
22
Solución del Modelo
Condición Inicial del sistema
Modelo Matemático
Dinámica del sistema
Solución del Modelo (Predicción del
comportamiento del sistema)
23
Introducción a la Solución del Modelo

• Resolver una cadena de Markov es
• Conocer las probabilidades de los estados para
  cualquier instante t ? t gt 0.
• Conocer las probabilidades de transición de la
  cadena entre cualquier par de estados, para
  cualquier intervalo de tiempo 0,t.
• Obs. Los dos problemas anteriores son
  equivalentes, ya que, para conocer las
  probabilidades de transición entre cualquier par
  de estados de la cadena para cualquier intervalo
  de tiempo 0,t, basta suponer que la condición
  inicial es que la cadena está con seguridad en el
  estado de partida y se aplica la solución del
  primer punto.

24
Probabilidades de Estado
Sea pj(t) la probabilidad de que el sistema se
encuentre en un estado ej en el instante t, t ?
0.
(1)
Es claro que
(2)
ya que para un determinado instante, el proceso
debe estar en algún estado.
25
Probabilidades de Transición
Sea Ri,j(v,t) la probabilidad de que el sistema
transite del estado ei en el instante v, al
estado ej en el instante t.
(3)
Ri,j(v,t) RX(t)ej/X(v)ei,
para 0 ? v ? t,
Ri,j(v,t)
ej
ei
tiempo
t
v
0
26
Evaluación de las Probabilidades de Estado
Condicionando en el estado en que se encuentra la
CM en el instante v, por el teorema de
probabilidades totales, se puede expresar pj(t)
de la forma
(4)
27
Evaluación de las Probabilidades de Estado
28
Evaluación de las Probabilidades de Estado
Si v 0 en (4), entonces
(5)
En consecuencia, el comportamiento de la cadena
de Markov queda totalmente determinado una vez
que son especificadas las probabilidades de
transición Ri,j(0,t) y el vector de probabilidad
inicial ?(0) ?0(0), ?1(0), ... .
29
Evaluación de las Probabilidades de Estado

• Vector de Probabilidad inicial ?(0)
  ?0(0), ?1(0), ...

• probabilidades de transición Ri,j(0,t)

30
Solución Aproximada del Modelo
Obs. Un caso particular importante de la
ecuación (4) es
(6)
Donde Ri,j(t, tDt) representa la probabilidad de
transición, desde ei hacia ej, en el intervalo
t, t Dt.
Ri,j(t,t?t)
. . .
. . .
ej
ej
Estados
ei
ei
e1
e1
e0
e0
tiempo
t ?t
t
0
?t
31
Solución Aproximada del Modelo

• Diferenciando la contribución del propio estado
  de la de los demás estados

(7)
?i , ? ei??
?i , ? ei??
t
tDt
. . .
j
j
Nota En la gráfica Dt es significativo sólo
para efectos de visualización, sin embargo,
en la ecuación Dt?0.
32
Solución Aproximada del Modelo
Debido a que cada una de las transiciones tiene
distribución exponencial
(8)

• Observaciones
• d(Dt) es el error en que incurre al evaluar el
  lado izquierdo como el primer término del lado
  derecho.
• Dado que el tiempo de transición de ei a ej es
  exponencial de parámetro ?i,j, si el intervalo ?t
  es chico, entonces el error d(?t) es una función
  O(Dt)
• Las funciones O(?t) son aquellas que cumplen
  con

33
Solución Aproximada del Modelo
Reemplazando las probabilidades de transición de
(8) en la expresión (7).
Cuando ?i,j(t), ?i(t) son constantes en el
tiempo, la ecuación anterior se puede expresar
como
(9)
34
Solución Aproximada del Modelo
Como
entonces (9) queda como
(10)
35
Ejemplo
0
1
2
3
4
36
Evaluación de las Probabilidades de Estado

• La ecuación (10) constituye un conjunto de
  ecuaciones de diferencia (una para cada estado),
  la que junto con la ecuación de normalización (2)
  permite evaluar, de manera aproximada, el
  comportamiento del sistema.
• Nótese que la ecuación (10) es la misma que la
  ecuación de C-K para el caso de cadenas de Markov
  de parámetro discreto, para un caso específico de
  matriz de transición P
• Ejercicio 1 obtenga la matriz P
• Ejercicio 2 resuelva en forma aproximada un
  modelo de
• CMPC usando una CMPD
  (ecuación (10))

37
Solución Exacta del Modelo

• La ecuación anterior se divide por Dt y se
  encuentra el límite cuando Dt tiende a 0. Esto
  genera un conjunto de ecuaciones diferenciales.
• Las ecuaciones diferenciales y la condición
  inicial constituyen el modelo matemático del
  sistema.
• Se encuentra una solución para el conjunto de
  ecuaciones diferenciales obtenidas en (9).

38
Solución del Modelo

• Se divide (10) por Dt y se encuentra el límite
  cuando Dt tiende a 0.

Recordando que se obtiene
(11)
39
Solución del Modelo
En el limite cuando Dt?0, la ecuación (11) es
conocida como la ecuación de balance global (EBG)
del estado ej ??.
(12)
Ecuación de Balance Global (EBG)
Note que (12) es el conjunto de EBG de cada uno
de los estados de la cadena.
40
Interpretación de la EBG
?i , ? ei??
?i , ? ei??
t
tDt
. . .
j
j
Observación Ri,j(t,t Dt) ?i,j(t) Dt
O(Dt) con i ? j Rj,j(t,t Dt) 1 - ?j(t) Dt
O(Dt) con i j
41
Planteo de las EBG de forma intuitiva

• Definiciones
• 1. pk(t) probabilidad de estar en el estado k
  en el instante t.
• 2. lk,i tasa media de transición desde el
  estado k al
• estado i.
• 3. pklki número medio de transiciones desde el
  estado k
• al estado i, por unidad de tiempo.

42
Principio de Balance Global
. . .
. . .
i
. . .
. . .
número medio de salidas desde el estado i a
cualquier estado j en Dt
número medio de entradas desde cualquier estado k
al estado i en Dt
43
Principio de Balance Global
Ejemplo
Tiempo en el estado 1 Tiempo en el estado 2
Tiempo en el estado 3
44
Principio de Balance Global
?2t, tDt ?2,1Dt nº medio de entradas al
estado 1 desde el estado 2 en el intervalo t,
tDt.
Suponga que ?2,12 transiciones/Dt ? ?2,1 Dt
2 transiciones
Entonces, ?2t, tDt ?2,1 Dt corresponde a
Dt
0
t
tDt
45
Principio de Balance Global
. . .
. . .
i
. . .
. . .
Número de entradas totales al estado i en Dt
Número de salidas totales desde el estado i en Dt

46
Principio de Balance Global

• El balance de flujos para cualquier estado se
  puede interpretar

Entradas Netas medias por unidad de tiempo (EN)
número medio de entradas totales por unidad de
tiempo (IN)
número medio de salidas totales por unidad de
tiempo (OUT)

-
Considerando el número de entradas netas en un
intervalo t, tDt, se tiene
(13)
47
Principio de Balance Global

• El número de entradas netas en t, tDt, se
  puede interpretar de la siguiente forma

(14)
48
Principio de Balance Global
Variación del tiempo de permanencia en el estado
i, por unidad de tiempo
número de entradas totales en Dt
número de salidas totales en Dt

-
. . .
. . .
i
Esta variación se puede expresar en forma de la
ecuación de diferencias
(15)
estanques
Gráfica P.Estoc.
49
Principio de Balance Global
Dividiendo por Dt en (15)
(16)
Encontrando el límite en (16)
(17)
Note que la última ecuación corresponde a la
ecuación de balance global para el estado i.
50
Principio de Balance Global
La ecuación (17) puede ser reescrita en forma
vectorial tal como sigue
(18)
51
Principio de Balance Global
Se define el vector de probabilidades de estado,
su derivada respecto del tiempo y la matriz de
transiciones
-gt Estado 0 -gt Estado i -gt Estado n
52
Principio de Balance Global

• El conjunto de las Ecuaciones de Balance Global
  se puede expresar en forma matricial como

(19)
Además, siempre se cumple que
Ecuaciones de Balance Global
Cad. Markov
53
Principio de Balance Global

• En estado estacionario se tiene que

flujo de entrada flujo de salida
(20)
Ecuaciones de Balance Global en Estado
Estacionario
Ejemplos
54
Solución del Modelo en Estado Estacionario
Para sistemas estables, la variación de las
probabilidades de los estados se hace cero cuando
el tiempo tiende a infinito.
0
En consecuencia (12) se transforma en un conjunto
de ecuaciones diferenciales lineales homogéneas
de primer orden. A continuación se explicará un
método para resolver CMPC en estado estacionario.
55
Solución del Modelo en Estado Estacionario
Teorema 1
Para una CMPC el límite
(21)
siempre existe y es independiente del estado
inicial Ei.
Si existe la probabilidad límite ?j, entonces
(22)
56
Solución del Modelo en Estado Estacionario
Sustituyendo (22) en la ecuación (12), se obtiene
el siguiente sistema de ecuaciones lineales
homogéneo (una ecuación para cada ej ? ?)
(23)
Para el sistema de ecuaciones homogéneo, la
solución trivial ?j 0 es válida, sin embargo
interesan las otras soluciones. Si otra solución
existe, entonces un número infinito de soluciones
puede obtenerse multiplicando por escalares.
57
Solución del Modelo en Estado Estacionario
Para determinar una única solución distinta de
cero, se usa la condición
(24)
Una CMPC que posee probabilidades límite ?j
positivas es llamada recurrente no nula o
positiva recurrente, y las probabilidades ?j,
satisfacen (23) y (24), siendo conocidas como
probabilidades en estado estacionario. Es claro
que una CMPC finita irreductible debe ser
positiva recurrente, de esta forma se puede
obtener una única solución para las
probabilidades estacionarias resolviendo el
sistema de ecuaciones expuesto en (23), bajo la
condición (24).
Clasificación de los estados
58
Solución del Modelo en Estado Estacionario
En muchas situaciones, los fenómenos que se
desean modelar pueden ser representados con una
CMPC en estado estacionario. Frecuentemente es
posible calcular un modelo estacionario a partir
de las numerosas transiciones de estado que le
ocurren al sistema, antes que las tasas de
transición varíen respecto del tiempo. Así, de
ahora en adelante se considerará las tasas medias
de transición li,j en vez de las tasas
dependientes del tiempo li,j(t).
59
CMPC en Estado Estacionario
?i(t0)
?i(t1)
?i(ti)
?i(tn)
?i(tn1)
?i(tn1)
?1(t)
Estado Estacionario
t0
t1
ti
tn
tn1
tn2
?n2
En
t
En
En
?21
En
En
En
...
. . .
...
...
...
...
...
E2
E2
E2
E2
E2
E2
E1
E1
E1
E1
E1
E1
EBG matricial
Interpretacion Dpi
60
Solución de CMPC
La solución matricial de (19)
con
es la siguiente
(25)
CMCP
Q dinámica
61
Comentarios de la Solución

• El conjunto de ecuaciones diferenciales vistas en
  el principio de balance global pueden ser
  resueltas utilizando un software especializado en
  resolución de Ec. Diferenciales.
• Las complicaciones asociadas a la solución
  transiente
• dependen del orden de la matriz Q, la cantidad
  de transiciones entre los estados y la precisión
  deseada (en términos de la cantidad de ks que se
  consideren).

62
Ejemplo Cadena de Markov de dos estados

• Una máquina funciona una cantidad de tiempo
  exponencialmente distribuido con media 1/l.
  Cuando falla, se repara con igual distribución en
  un tiempo medio 1/m. Inicialmente la máquina se
  encuentra funcionando.
• Interesa determinar la probabilidad que la
  máquina esté funcionando en un instante t dado.

63
Ejemplo Cadena de Markov de dos estados
0
1
En
Operacional
Reparación
Se tiene que
Condiciones iniciales
64
Ejemplo Cadena de Markov de dos estados

• Las Ecuaciones de Balance Global establecen que

La forma escalar de la ecuación anterior es
65
Ejemplo Cadena de Markov de dos estados

• Por lo tanto

(a)
(b)
(c)
66
Ejemplo Cadena de Markov de dos estados
Resolviendo (a), (b) y (c), se tiene
67
Ejemplo Cadena de Markov de dos estados

• Para estado estacionario

(d)
(e)
(f)
68
Ejemplo Cadena de Markov de dos estados

• Resolviendo (d), (e) y (f), se tiene

Observación
También se puede llegar a este resultado por
medio de la solución transiente haciendo tender
el parámetro t a infinito.
69
Ejemplo Cadena de Markov de dos estados
Gráfico de p0 con m4
p0
l2
l5
l7
t
70
Ejemplo Cadena de Markov de dos estados
Gráfico de p0 con l4
p0
m7
m5
m2
t
71
Ejemplo Cadena de Markov de dos estados
Gráfico de p1 con m4
p1
l7
l5
l2
t
72
Ejemplo Cadena de Markov de dos estados
Gráfico de p1 con l4
p1
m2
m5
m7
t
73
Problemas

• Sea una cadena de Markov de tres estados como se
  ilustra en la figura

l0,1
l1,0
l2,0
l0,2
Dado que ocurre una transición desde el estado 0,
determinar la probabilidad que dicha transición
sea al estado 1.
74
Problemas

• Definimos
• t0,1 tiempo de permanencia en el estado 0
  antes de transitar al estado 1, en caso de
  transitar al estado 1.
• t0,2 tiempo de permanencia en el estado 0 antes
  de transitar al estado 2, en caso de transitar
  al estado 2.
• La probabilidad pedida es equivalente a la
  probabilidad que la transición al estado 1 ocurra
  antes que la transición al estado 2.

75
Problemas

• Por lo tanto

76
Problemas

• Extendiendo el resultado anterior, para cualquier
  número de estados, se tiene

donde Ri,j Probabilidad de transitar desde
el estado i al estado j, dado que ocurre una
transición. li,k Tasa media de salida desde
el estado i al estado k.
77
Problemas

• Dado que ocurrió una transición desde el estado
  i,
• Cuál es la probabilidad de que el próximo
  estado sea i ?.

Se sabe que
Además
78
Problemas

• Por lo tanto

79
Problemas

• Como en el instante cero el sistema se encuentra
  en el estado i Cuál es la probabilidad de
  permanecer en dicho estado hasta el instante t?

Ppermanecer en estado i hasta t 1 - Psalir
del estado i hasta t
Se sabe que el tiempo de permanencia es
exponencial, entonces
Por lo tanto
Solución EBG
80
Ejemplo Cadena de Markov de tres estados,
con uno absorbente.

• Se tiene un sistema con dos componentes paralelos
  redundantes (tolerante a fallas), con un taller
  de reparación con capacidad de una componente, y
  que es capaz de responder una petición de
  reparación en una cantidad de tiempo
  exponencialmente distribuido con media 1/m . El
  tiempo de funcionamiento sin fallas de cada
  componente es de igual distribución con media
  1/l. Cuando fallan ambas componentes se
  considera que el sistema ha fallado en forma
  irreversible.
• Interesa determinar el tiempo medio de falla del
  sistema.

81
Ejemplo Cadena de Markov de tres estados,
con uno absorbente.
1
2
0
Una componente en reparación
Sistema totalmente operacional
Sistema sin recuperación
Se asume que el sistema parte funcionando
totalmente operacional, es decir
Condiciones iniciales
82
Ejemplo Cadena de Markov de tres estados,
con uno absorbente..

• Por lo tanto, las ecuaciones de balance global
  quedan dadas por

(1)
(2)
(3)
(4)
83
Ejemplo Cadena de Markov de tres estados,
con uno absorbente.

• Resolviendo en estado estacionario, es decir las
  ecuaciones citadas abajo, junto a la ecuación (4)
  se tiene

(5)
(6)
(7)

• Es decir, el sistema, tarde o temprano fallará.

84
Ejemplo Cadena de Markov de tres estados,
con uno absorbente.
El interés se centra en el estado transiente del
sistema. Utilizando Transformada de Laplace
tenemos
Note que para este sistema, se cumple por si sola
la ecuación (4) en el plano s. Resolviendo para
tenemos
85
Ejemplo Cadena de Markov de tres estados,
con uno absorbente.

• Después de aplicar la transformada inversa de
  Laplace, podemos
• obtener , la probabilidad de que no
  hayan componentes
• operativos para t?0. Sea Y la variable aleatoria
  que representa
• el tiempo de falla del sistema, luego
  es la probabilidad de
• que el sistema haya fallado en ó antes del tiempo
  t. Luego, la
• confiabilidad del sistema puede definirse por

86
Ejemplo Cadena de Markov de tres estados,
con uno absorbente.
Para la densidad de probabilidad de falla
su transformada de Laplace es
87
Ejemplo Cadena de Markov de tres estados,
con uno absorbente.

• Invirtiendo la expresión anterior obtenemos la
  densidad buscada, con la cual podemos estimar,
  mediante la esperanza el tiempo pedido, es decir

88
Ejemplo Cadena de Markov de tres estados, uno
absorbente.
Luego, el tiempo medio de falla del sistema será
Note que el tiempo de vida útil del sistema es
incrementado por la existencia del taller (? ? 0).
89
Referencias y Bibliografía
Libros REF 1 Kishor S. Trivedi. Probability
Statistics with Reliability, queuing, and
Computer Science Applications. 1ra Edición,
1982. REF 2 Paul L. Meyer. Probabilidad y
Aplicaciones Estadísticas. Edición en español,
1970. REF 3 R. Yates D. Goodman.
Probability and Stochastic Processes, a friendly
introducction for electrical and computer
engineers. 1999. REF 4 Burden Faires.
Analisis Numérico. Presentaciones Teoría de
Filas, 2002 (UTFSM) REF 5 Sven Gysling
Pablo Sanchez. Paralelismo Mundo
Discreto- Continuo. Propiedades de la Exponencial
(1). VOLVER
90
Anexo 1 Propiedad Memoryless de la v.a.
Exponencial
Sea ti el tiempo en que un sistema se mantiene en
un estado particular Ei ? ?. Luego, para x, s, t
instantes de tiempo, se tiene que
91
Anexo 1 Propiedad Memoryless de la v.a.
Exponencial
Demostración Queremos probar que
92
Anexo 2 Clasificación de los estados en una
CMPC
La clasificación de los estados de una CMPC son
similares a los de CMPD. Un estado i se dice que
es un estado absorbente si se cumple que ?ij 0,
? Ej ? Ei, tal que una vez que el sistema
transita al estado Ej, el proceso está destinado
a permanecer allí. Para una cadena de Markov con
2 o más estados absorbentes el límite de las
probabilidades de transición, cuando t tiende a
infinito, depende de la condición inicial del
sistema.
Analogía gráfica de estado absorbente
93
Anexo 2 Clasificación de los estados en una
CMPC
Un estado Ej se dice que es alcanzable desde un
estado ei , si para algún t gt 0, ?ij(t)gt0. Una
CMPC se dice que es irreductible si todo estado
es alcanzable desde otro estado. En la sección
de ejemplos se muestra un CMPC con un estado
absorbente, además de un ejemplo simple de CMPC
irreductible.
94
Probabilidades de Transición
Sea pi,j(v,t) la probabilidad de que el sistema
transite de un estado ei en el instante v, a un
estado ej en el instante t.
pij(v,t) PX(t)ej/X(v)ei,
(1)
para 0 ? v ? t,
pij(v,t)
ej
ei
tiempo
v
t
0
95
Probabilidades de Estado
. . .
. . .
Ej
Ej
Estados
Ei
Ei
E2
E2
E1
E1
tiempo
v
t
0
96
Probabilidades de Transición
Se define
Ej
Ej
pij(v,t)
pij(t,t) 0
pii(t,t) 1
Ei
Ei
tiempo
0
t
v
97
Solución del Modelo

• Para el intervalo t, tDt la solución del
  proceso l(t, tDt) está determinado por
• la condición Inicial, (l(t, t0)),
• la dinámica, ?i,j(t, tDt), que corresponde a
  la tasa de
• transición desde un estado ei a un estado ej
  en el
• intervalo t, tDt, ? i, j.

98
Probabilidades de Transición
Según (1), la función de masa de probabilidad
condicional satisface la relación
(2)
99
Solución del Modelo
Se define la tasa de transición ?ij(t)
(7)
Análogamente, se define la tasa de abandono ?j(t)
(8)
100
Solución del Modelo
Los métodos para obtener una solución de un
proceso estocástico son variados. Sin embargo,
una forma tradicional para conseguirlo es usar
ecuaciones de diferencias del proceso, en este
caso L(tDt) L(t) pi,j(t, tDt) , ? t ?
0. Dividiendo por Dt en ambos lados y
encontrando el límite cuando Dt tiende a cero,
se obtendrá la ecuación diferencial que
describe el comportamiento del sistema.
101
Solución del Modelo
Condición Inicial
La condición inicial es pii(t,t) 1 pij(t,t)
0 ? j ? i
Ej
Ej
pij(v,t)
pij(t,t) 0
0 ? v ? t
pii(t,t) 1
Ei
Ei
tiempo
0
t
v
102
Interpretación gráfica
pij , ? i??
pij , ? i??
pij , ? i??
pij , ? i??
pij , ? i??
pii1
condición inicial
pij(t)
t
pij0
...
...
...
...
tiempo
pii(t)
. . .
j
j
j
j
j
i
i
i
i
i
Condición inicial pii(t,t) 1 pij(t,t) 0 ?
j ? i
Dinámica pij(t,t Dt) ?ij(t) Dt o(Dt) i ?
j pjj(t,t Dt) 1 - ?j(t) Dt o(Dt) i j
103
Solución del Modelo
Análogamente para la probabilidad ?j(t)
?i , ? Ei??
t
j
104
Solución del Modelo
(II) Restando las ecuaciones halladas en (I).
y manipulando algebraicamente
(10)
105
Comentarios de la Solución

• Para una cadena irreductible de parámetro
  homogéneo, la solución estacionaria existirá
  siempre que el rango de la matriz Q sea n-1,
  donde n es el número de estados de la cadena.

106
Comentarios de la Solución

• En este sentido, las ecuaciones de balance global
  en estado estacionario pueden reducirse a

(27)
donde la matriz corresponde a
107
Comentarios de la Solución

• El rango de la matriz es n, en consecuencia
  (27) corresponde a un sistema lineal no
  homogéneo, para el cual existen infinidad de
  técnicas iterativas para encontrar la solución.

108
Interpretación gráfica de Pi,j(t, t ?t)
pi,j, ? i,j
pi,j, ? i,j
pi,j(t Dt)
pi,j(t Dt) - pi,j(t) pij(t,t Dt)
pi,j(t)
tiempo
t
t Dt
...
...
li,j(t)
Estados
0
0
Dt
pi,j(t,t Dt) ?i,j(t) Dt o(Dt) i ? j
109
Solución Aproximada del Modelo
(III) Reemplazando las probabilidades de
transición de (10) en la expresión (9).
Cuando ?i,j(t), ?i(t) son constantes en el
tiempo, la ecuación anterior se puede expresar
como
(11)