El resultado de álgebra lineal debería aparecer en cualquier libro, o en google si pones "proyección ortogonal". De todas maneras te lo explico para este caso, porque es corto y fácil de explicar.
Define \( w_t = \frac{\langle w, v \rangle}{\langle v,v \rangle}v \), donde \( \langle \cdot, \cdot \rangle \) es el producto escalar definido en el espacio vectorial (en tu caso, el inducido por la métrica riemanniana en el espacio tangente). Es claro que por definición \( w_t \) es paralelo a \( v \). Ahora define \( w_n=w-w_t \). Lo único que hay que ver es que este vector es ortogonal a \( v \). En efecto:
\( \langle w_n,v \rangle = \langle w,v \rangle - \langle \frac{\langle w,v \rangle }{\langle v,v \rangle} v, v \rangle = \langle w,v \rangle - \langle w,v \rangle = 0 \).
Sobre lo otro, creo que quieres decir \( exp_p(0)=p \). La idea intuitiva que tienes es buena. Más rigurosamente, recuerda que \( exp_p(v) = \gamma_v(1) \) donde \( \gamma_v(t) \) es la (única) geodésica que cumple \( \gamma_v(0)=p \) y \( \gamma_v'(0)=v \).
Si definimos la curva constante \( \gamma(t)=p \), se comprueba fácilmente que \( \gamma(0)=p, \gamma'(0)=0 \) y que es una geodésica (cumple la ecuación diferencial). Luego, \( exp_p(0)= \gamma(1)=p \).