Que sea una cadena de Markov quiere decir que para todo \( n \) se cumple:
\( P(X_{n+1}\mid X_1, X_2, \dots, X_n) = P(X_{n+1} \mid X_n) \). Es decir, que si estás en el estado \( X_n \), la probabilidad de pasar al nuevo estado \( X_{n+1} \) depende solamente del estado actual, y no de toda la historia anterior.
Ahora pregúntate: si sabes el valor de \( X_n \), ¿te aporta algo saber el valor de \( X_1, \dots, X_{n-1} \) a la hora de calcular la probabilidad de \( X_{n+1} \)?
Esta es la idea básica. Para dar una respuesta formal, deberías demostrar que la igualdad del principio siempre se cumple (o que no se cumple si no es una cadena de Markov).