Procesos Estoc´
asticos 1. Tarea Examen 1.
Dra. Bego˜
na Fern´
andez Fern´
andez
Resuelva los siguientes problemas y entregue sus resultados, por equipos de a lo m´as 5 integrantes, en un formato
limpio y ordenado. Para los problemas de simulaci´on agregue resultados gr´aficos adem´as de un formato limpio para
la presentaci´on del c´odigo. Justifique sus respuestas.
1. Sea {Xn }n≥0 una cadena de Markov con espacio de estados E = {0, 1, 2, 3} y matriz de probabilides de transici´
on:

1−p
 0
P=
 1−p
0
p
0
0 1−p
p
0
1
0

0
p 

0 
0
a) Encuentre (de existir) la distribuci´
on estacionaria.
b) Dise˜
ne un algoritmo en el paquete R que simule esta cadena.
c) Para 2 distintos valores de p realice simulaciones de 1000 y 10000 tiempos de la cadena iniciando en alg´
un
estado i y calcule:
NjM
V isitas al estado j en M tiempos
=
M
M
Compare con lo lo obtenido en (a).
2. Considere una cadena de Markov tal que P (x, y) = αy , para todo x, y ∈ ξ, donde αy son constantes que dependen
de y. Muestre que la cadena tiene una u
´nica distribuci´on estacionaria dada por π(y) = αy .
3. En un laboratorio se observa, en cada periodo de tiempo, el n´
umero de part´ıculas que entran en un cuerpo
s´olido. Las observaciones se consideran variables aleatorias a cada tiempo (independientes e id´enticamente distribuidas para cada tiempo) con distribuci´on P oisson(λ). El tiempo de vida de las part´ıculas, que se supone
independiente, es de distribuci´
on Geom´etrica(p). Tomemos por Xn el n´
umero de part´ıculas que se encuentran
en el cuerpo a tiempo n. Demuestre que Xn es una cadena de Markov y encuentre su distribuci´on estacionaria.
Realice un algoritmo en R que replique la cadena, y sim´
ulela (escoja los par´ametros de las distribuciones a
su gusto).
4. Sea π una distribuci´
on estacionaria para una cadena de Markov. Muestre que, si π(x) > 0 y x → y, entonces
π(y) > 0
5. Diga si son ciertas o falsas las siguientes afirmaciones. En caso de no ser ciertas, de un contraejemplo.
a) La sucesi´on {P n }n>0 de una matriz de transici´on de una cadena de Markov P siempre converge.
b) En cualquier cadena de Markov siempre existe una distribuci´on estacionaria.
c) En caso de que en una cadena de Markov exista una distribuci´on estacionaria, entonces es u
´nica.
6. Muestre que la cadena de rachas tiene una u
´nica distribuci´on estacionaria y calc´
ulela.
7. Considere la siguiente cadena de Markov con

1/2
 0

 0

P=
 0
 0

 0
0
matriz de transici´on de probabilidades:

0 1/8 1/4 1/8 0
0
0 1
0
0
0
0 

0 0
1
0
0
0 

1 0
0
0
0
0 

0 0
0 1/2 0 1/2 

0 0
0 1/2 1/2 0 
0
0
0
0
1/2 1/2
a) Encuentre todas las distribuciones estacionarias de esta cadena.
b) Encuentre:
n
Ni,j
;
n→∞ n
l´ım
i, j ∈ E
8. Demuestre que toda matriz doblemente estoc´astica, finita e irreducible tiene una u
´nica distribuci´
on estacionaria
dada por la distribuci´
on uniforme.
9. Considere una cadena de Markov con espacio de estados finito y tal que para cada estado j los siguientes l´ımites
existen y no dependen del estado i
l´ım pi,j (n) = πj ;
n→∞
i, j ∈ E
Demuestre que π = {πj } es una distribuci´
on estacionaria.
10. Una persona se traslada todos los d´ıas de su casa a la oficina en la ma˜
nana, y de la oficina a su casa por la
tarde. Esta persona tiene un coche que usa en cualquiera de estos dos viajes en caso de lluvia, siempre y cuando
tenga el coche disponible. No siempre tiene el coche disponible pues ha decidido dejarlo en la casa o en la oficina
e irse caminando cuando al salir de alguno de estos lugares no est´a lloviendo. La probabilidad de lluvia por la
ma˜
nana o por la tarde es p, independiente un evento del otro.
a) Encuentre la proporci´
on de viajes a largo plazo en los cuales la persona se moja por la lluvia.
b) ¿Qu´e pasa cuando la persona tiene r coches?
Indicaciones:
1. Todos son obligatorios.
2. Los c´odigos de simulaciones deben entregarse en las mismas hojas con resultados gr´aficos, tambi´en deben enviarse
en archivos R o .txt a [email protected] con los nombres de los integrantes en el mail.
3. Sean lo m´as claros posibles en la redacci´
an, y entreguen en hojas del mismo tipo y lo m´as limpio que se pueda.