Autor Tema: Cadenas de Markov

0 Usuarios y 1 Visitante están viendo este tema.

21 Septiembre, 2009, 02:15 am
Leído 3810 veces

Dogod

  • $$\Large \color{#5b61b3}\pi\,\pi\,\pi\,\pi\,\pi$$
  • Mensajes: 1,679
  • Karma: +0/-0
  • Sexo: Masculino
Hola a todos, unos compañeros y yo,  tenemos el siguiente problema de Cadenas de Markov y quisiéramos saber si lo estamos haciendo bien. Dice así:

Considere una Cadena de Markov con espacio de estados \( \color{blue}(0, 1, 2, 3, 4) \) y matriz de transición dada por:



\( \color{blue}P = \begin{bmatrix}{\displaystyle\frac{1}{2}}&{\displaystyle\frac{1}{2}}&{0}&{0}&{0}\\{\displaystyle\frac{1}{3}}&{\displaystyle\frac{2}{3}}&{0}&{0}&{0}\\{\displaystyle\frac{1}{4}}&{0}&{\displaystyle\frac{1}{4}}&{\displaystyle\frac{1}{4}}&{\displaystyle\frac{1}{4}}\\{0}&{\displaystyle\frac{1}{4}}&{\displaystyle\frac{1}{4}}&{\displaystyle\frac{1}{4}}&{\displaystyle\frac{1}{4}}\\{0}&{0}&{0}&{0}&{1}\end{bmatrix} \)


a). Determine las clases comunicadas cerradas y los estados transitorios.

b). Para cada clase comunicada cerrada, encuentre las probabilidades \( \color{blue}t_j \)de que el sistema entre a la
clase \( \color{blue}j \) dado que inicialmente estaba en el estado transitorio\(  \color{blue}i \).



Creemos que el grafo es el de la figura adjunta (disculpas por ello, no sé hacerlo en software); y que los conjuntos cerrados son

{\( 1, 2 \)}, {\( 5 \)}y los transitorios

{\( 3, 4 \)}.

Agradeceríamos la aclaración o afmirmación de si eso está bien o mal (incluido el grafo).

Por otro lado, aunque quizás más tarde lo pensemos y posteemos las ideas que tenemos (una de ellas puede ser tomando las probabilidades pedidas "a lo bruto" de la misma matriz), quisiéramos saber cuál es la forma de resover la parte b).

Un saludo y muchas gracias y buen día.

Sabio24 ;)

Grafo:




Las cosas pasan es por algo, y no hay mal que por bien no venga dicen en mi tierra...

21 Septiembre, 2009, 12:14 pm
Respuesta #1

Luis Fuentes

  • el_manco
  • Administrador
  • Mensajes: 58,907
  • País: es
  • Karma: +0/-0
Hola

 La pregunta (a) está bien.

 En cuánto a la (b) no estoy seguro de entenderla bien. ¿Las probabilidades de que el sistema pase de una clase a otra en cuántos pasos?.

Saludos.

21 Septiembre, 2009, 07:30 pm
Respuesta #2

Dogod

  • $$\Large \color{#5b61b3}\pi\,\pi\,\pi\,\pi\,\pi$$
  • Mensajes: 1,679
  • Karma: +0/-0
  • Sexo: Masculino
Hola el_manco gracias por tu ayuda, nos sugirieron que para la parte b) utilizáramos el concepto de probabilidades límites, ya que nos están pidiendo hallar las probabilidades de que el sistema, dado que comienza en un estado transitorio (3 ó 4) entra en una clase estable ({1,2},{5}).


Entonces hemos pensado que si \( \displaystyle\lim_{n \to{+}\infty}{}P_{ij}^n = \pi_j \), donde P es la matriz de transición, entonces


\( \displaystyle\lim_{n \to{}\infty}{P^n =} \color{blue} \begin{bmatrix}{\pi_1}&{\pi_2}&{.}&{.}&{\pi_k}\\{\pi_1}&{\pi_2}&{.}&{.}&{\pi_k}\\{\pi_1}&{\pi_2}&{.}&{.}&{\pi_k}\\{\pi_1}&{\pi_2}&{.}&{.}&{\pi_k}\\{\pi_1}&{\pi_2}&{.}&{.}&{\pi_k}\end{bmatrix} \)

Según eso, debemos multiplicar el vector con las icógnitas \( \pi \) por la matriz, y de ahí obtendremos un sistema que debemos de resolver, y esas serán nuestras probabilidades pedidas, pero estamos un poco enredados para plantearlo, mejor dicho, si es así, no sabemos por qué deberíamos multiplicar un vector \( \color{blue} (\pi_1, \pi_2, \pi_3, \pi_4, \pi_5) \) por la matriz, con lo cual nos quedaría esto:

\( \color{red} (\pi_1, \pi_2, \pi_3, \pi_4, \pi_5)*\color{blue} \begin{bmatrix}{\displaystyle\frac{1}{2}}&{\displaystyle\frac{1}{2}}&{0}&{0}&{0}\\{\displaystyle\frac{1}{3}}&{\displaystyle\frac{2}{3}}&{0}&{0}&{0}\\{\displaystyle\frac{1}{4}}&{0}&{\displaystyle\frac{1}{4}}&{\displaystyle\frac{1}{4}}&{\displaystyle\frac{1}{4}}\\{0}&{\displaystyle\frac{1}{4}}&{\displaystyle\frac{1}{4}}&{\displaystyle\frac{1}{4}}&{\displaystyle\frac{1}{4}}\\{0}&{0}&{0}&{0}&{1}\end{bmatrix} \)


y de ahí resolver el sistema, en el cual, según las notas, nos queda un matriz, de 5 x 5 con solución única, cuya última fila es \( 1 = \pi_1 + \pi_2 + \pi_3 + \pi_4 + \pi_5 \), siendo que esa sería una solución para las cinco incógnitas, y nos están pidiendo sólo la probabilidad para pasar de los estados (3, 4) a los estados (1, 2), (5).


agradecemos de antemano tu ayuda.


Sabio24
Las cosas pasan es por algo, y no hay mal que por bien no venga dicen en mi tierra...

22 Septiembre, 2009, 04:24 pm
Respuesta #3

Luis Fuentes

  • el_manco
  • Administrador
  • Mensajes: 58,907
  • País: es
  • Karma: +0/-0
Hola

 mmmm... entiendo que hay que hallar:

\(  \displaystyle\lim_{n\to{+}\infty}{}(0,0,1,0,0)P^n \)

 De manera que las probabilidad de pasar del estado \( 3 \) al estado \( (1,2) \) vendrá dada por las dos primeras componentes del vector límite y la de pasar al \( (5) \) por la quinta.

 No sé si hay una forma más fácil de hacer esto que la que voy a proponer.

 1) Hallar autovalores y autovectores de \( P \).
 2) Diagonalizarla, es decir:

\(  P=MDM^{-1} \)

 con \( M \) la matriz formada por los autovectores y \( D \) la diagonal formada por los autovalores.
 
 3) Entonces:

\(  P^n=MD^nM^{-1} \)

 Esa cuenta es fácil de hacer y ahora es fácil concluir...

Saludos.

22 Septiembre, 2009, 07:03 pm
Respuesta #4

Dogod

  • $$\Large \color{#5b61b3}\pi\,\pi\,\pi\,\pi\,\pi$$
  • Mensajes: 1,679
  • Karma: +0/-0
  • Sexo: Masculino
Hola el_manco, muchas gacias de nuevo; he hallado:


Valores propios: 0, con multiplicidad algebraica = 1; 1 con multiplicidad algebraica = 2; \( \displaystyle\frac{1}{6} \), con multiplicidad algebraica = 1; y \( \displaystyle\frac{1}{2} \), con multiplicidad algebraica = 1.

Para ellos, he hallado los siguientes Vectores Propios:

Para 0 = \( [0, 0, -1, 1, 0] \); para 1 = \( [-1,-1,0,0,1], [2,2,1,1,0] \); para

\( \displaystyle\frac{1}{6} = [-\displaystyle\frac{3}{2}, 1, -\displaystyle\frac{27}{16}, \displaystyle\frac{33}{16}, 0] \); y finalmente para \( \displaystyle\frac{1}{2} = [0,0,1,1,0] \).

De modo que mi matriz \( \color{blue}M = \begin{bmatrix}{0}&{-1}&{2}&{-\displaystyle\frac{3}{2}}&{0}\\{0}&{-1}&{2}&{1}&{0}\\{-1}&{0}&{1}&{\displaystyle\frac{-27}{16}}&{1}}\\{1}&{0}&{1}&{\displaystyle\frac{33}{16}}&{1}\\{0}&{1}&{0}&{0}&{0}\end{bmatrix} \)

y entonces \( M^{-1} = \color{red}\begin{bmatrix}{\displaystyle\frac{3}{4}}&{-\displaystyle\frac{3}{4}}&{-\displaystyle\frac{1}{2}}&{\displaystyle\frac{1}{2}}&{0}\\{0}&{0}&{0}&{0}&{1}\\{\displaystyle\frac{1}{5}}&{\displaystyle\frac{3}{10}}&{0}&{0}&{\displaystyle\frac{1}{2}}}\\{-\displaystyle\frac{2}{5}}&{\displaystyle\frac{2}{5}}&{0}&{0}&{0}\\{-\displaystyle\frac{1}{8}}&{-\displaystyle\frac{3}{8}}&{\displaystyle\frac{1}{2}}&{\displaystyle\frac{1}{2}}&{-\displaystyle\frac{1}{2}}\end{bmatrix} \)

Ahora he diagonalizado, haciendo \( D = M^{-1}*P*M \) =



\( \begin{bmatrix}{0}&{0}&{0}&{0}&{0}\\{0}&{1}&{0}&{0}&{0}\\{0}&{0}&{1}&{0}&{0}\\{0}&{0}&{0}&{\displaystyle\frac{1}{6}}&{0}\\{0}&{0}&{0}&{0}&{\displaystyle\frac{1}{2}}\end{bmatrix} \).


Es a esa Diagonal a la que te refieres que debo utilizar en \(  P^n=MD^nM^{-1} \)?

Por otro lado te agradecería una explicación más acerca de


\(  \displaystyle\lim_{n\to{+}\infty}{}(0,0,1,0,0)P^n \)

 De manera que las probabilidad de pasar del estado \( 3 \) al estado \( (1,2) \) vendrá dada por las dos primeras componentes del vector límite y la de pasar al \( (5) \) por la quinta.

Creo que con esto \(  \displaystyle\lim_{n\to{+}\infty}{}(0,0,1,0,0)P^n \) te refieres a este mismo vector de probabilidades que yo menciono: \( \color{blue} (\pi_1, \pi_2, \pi_3, \pi_4, \pi_5) \). Pero no entiendo bien lo que dices ahí, en la cita, agradecería aclaración, además, aquí \(  P^n=MD^nM^{-1} \), qué está calculando \( P^n \)?, por ejemplo una sola probabilidad, es decir, eso sería la probabilidad de encontrarse en la clase \( j \) dado que inicialmente estaba en el estado transitorio \( i \)?




un saludo y gracias de nuevo  :).



Las cosas pasan es por algo, y no hay mal que por bien no venga dicen en mi tierra...

23 Septiembre, 2009, 09:01 am
Respuesta #5

Luis Fuentes

  • el_manco
  • Administrador
  • Mensajes: 58,907
  • País: es
  • Karma: +0/-0
Hola

 La matriz \( P^n \) en su posición \( i,j \) indica la probabilidad de pasar del estado \( i  \) al \( j \) en \( n \) pasos. Cuando hacemos el paso al límite \( \displaystyle\lim_{n \to{+}\infty}{}P^n \) en su posición \( i,j \) indica la probabilidad de pasar del estado \( i \) al \( j \) en un número de pasos "tan grande como sea necesario".

 Si completas las cuentas el resultado será muy ilustrativo.

 Obtendrás:
 
\( S=\displaystyle\lim_{n \to{+}\infty}{}P^n=M(\displaystyle\lim_{n \to{+}\infty}{}D^n)M^{-1}=\begin{pmatrix}{\dfrac{2}{5}}&{\dfrac{3}{5}}&{0}&{0}&{0}\\{\dfrac{2}{5}}&{\dfrac{3}{5}}&{0}&{0}&{0}\\{\dfrac{1}{5}}&{\dfrac{3}{10}}&{0}&{0}&{\dfrac{1}{2}}\\{\dfrac{1}{5}}&{\dfrac{3}{10}}&{0}&{0}&{\dfrac{1}{2}}\\{0}&{0}&{0}&{0}&{1}\end{pmatrix} \)

 Entonces:

 - La probabilidad de pasar del estado \( 3 \) al \( 1 \) es: \( S_{31}=\dfrac{1}{5} \)
 - La probabilidad de pasar del estado \( 3 \) al \( 2 \) es: \( S_{31}=\dfrac{3}{10} \)

 - La probabilidad de pasar del estado \( 3 \) al \( (1,2) \) es: \( S_{31}+S_{32}=\dfrac{1}{2} \)

 (fíjate que toda esta información está contenida en el vector \( (0,0,1,0,0)S \) que nos devuelve la tercera fila de la matriz)

 En fin continúa...

Saludos.

23 Septiembre, 2009, 03:34 pm
Respuesta #6

Dogod

  • $$\Large \color{#5b61b3}\pi\,\pi\,\pi\,\pi\,\pi$$
  • Mensajes: 1,679
  • Karma: +0/-0
  • Sexo: Masculino
Hola el_manco....


No sé de dónde sacas esa matriz, es que tú calculastes M y M inversa y te dio otros resultados? Me he equivocado en algo? Porque he multiplicado, tomando las matrices que yo tengo ahí, \( M*D*M^{-1} \) y he obtenido algo muy distinto.... :-[ :-\ :'( :'( :'( :'(, la verdad no sé qué hacer, al menos de momento, disculpa si te parezco muy duro de ceso pero creo que no nos estamos entendiendo, pues con respecto a lo que hice no me dijiste nada.... :'(. O sea, no me dijiste si esos los valores y vectores propios correctos y si las matrices están bien, si esa es la diagonal a la que te refieres en \(  P^n=MD^nM^{-1} \), y no sé si las estás teniendo en cuenta para tus cálculos, aunque me temo que no, porque para eso nos hubiera dado igual.


O entiendo bien si lo que dice tu notación es que, por ejemplo, para calcular la probabilidad de 3, se eleva D a la tres, y así sucesivamente según lo que se quiera?


un saludo y gracias

Las cosas pasan es por algo, y no hay mal que por bien no venga dicen en mi tierra...

23 Septiembre, 2009, 04:33 pm
Respuesta #7

Luis Fuentes

  • el_manco
  • Administrador
  • Mensajes: 58,907
  • País: es
  • Karma: +0/-0
Hola

 ¡Relajación!.

 Si te fijas bien en lo que he escrito estoy llamando \( S \) a la matriz:

\( S=\displaystyle\lim_{n \to{+}\infty}{}P^n \)

 para calcularla he usado los valores de \( M \) y \( D \) que tu has calculado y no otros.

 Simplemente ten en cuenta que:

\( \displaystyle\lim_{n \to{+}\infty}{}P^n=M(\displaystyle\lim_{n \to{+}\infty}{}D^n)M^{-1} \)

 y además:

\( D^n=\begin{pmatrix}{0}&{0}&{0}&{0}&{0}\\{0}&{1}&{0}&{0}&{0}\\{0}&{0}&{1}&{0}&{0}\\{0}&{0}&{0}&{\displaystyle\frac{1}{6^n}}&{0}\\{0}&{0}&{0}&{0}&{\displaystyle\frac{1}{2^n}}\end{pmatrix} \)

 y por tanto:
 
\( \displaystyle\lim_{n \to{+}\infty}{}D^n=\begin{pmatrix}{0}&{0}&{0}&{0}&{0}\\{0}&{1}&{0}&{0}&{0}\\{0}&{0}&{1}&{0}&{0}\\{0}&{0}&{0}&{0}&{0}\\{0}&{0}&{0}&{0}&{0}\end{pmatrix} \)

 Ahora la matriz \( S \) representa en su posición \( i,j \) la probabilidad de pasar del estado \( i \) al estado \( j \) en un número de pasos como sea necesario.

 A la luz de estas nuevas aclaraciones vuelve a re-estudiar el problema con calma y relajación.

Saludos.

23 Septiembre, 2009, 04:51 pm
Respuesta #8

Dogod

  • $$\Large \color{#5b61b3}\pi\,\pi\,\pi\,\pi\,\pi$$
  • Mensajes: 1,679
  • Karma: +0/-0
  • Sexo: Masculino
Hola, el_manco, la verdad sí estaba un poco decepcionado de mí porque pensaba que no estaba entendiendo nada pero... Entendido!!, ahora sí le cogí la cosa al asunto, ajá... ya me dió  :D :D :D.

Lo que pasa es que cuando veía \( D^n \), lo estaba entendiendo como coger la matriz \( D \), y multiplicarla por sí misma N veces. Veo que no es así, porque lo hice y no me salía, mejor dicho, sí es eso porque una matriz \( D^n \), para n pequeño, sí es multiplicarla por sí misma n veces, sólo que como tú dices, n se estaba haciendo tender a infinito.... y pues así a mano nunca iba a llegar, como tú con el razonamiento que hiciste, mejor dicho, como se debe hacer.

Pero entonces, la probabilidad de pasar del estado \( j \) al estado \( i \), en dos pasos, sí sería elevar D a la dos?, por ejemplo?.

Un saludo y mil gracias por todo, de parte de mía y de  mis compañeros de salón, tienes muchos amigos acá.

Hasta pronto...

     Sabio24 :D
Las cosas pasan es por algo, y no hay mal que por bien no venga dicen en mi tierra...

23 Septiembre, 2009, 06:06 pm
Respuesta #9

Luis Fuentes

  • el_manco
  • Administrador
  • Mensajes: 58,907
  • País: es
  • Karma: +0/-0
Hola

Citar
Pero entonces, la probabilidad de pasar del estado \( j \) al estado \( i \), en dos pasos, sí sería elevar D a la dos?, por ejemplo?.

Sería tomar \( P^2 \), y para calcular esa potencia de manera auxiliar utilizamos \( D \):

\( P^2=MD^2M^{-1} \)

Simplemente estamos usando la diagonalización de matrices como una herramienta para calcular sus potencias más rápidamente, ya que la potencia de una matriz diagonal es muy fácil de calcular.

Saludos.