Usando que \[ A \] es simétrica, \[ df_p(v)=2\langle p, Av \rangle = 2 \langle Ap, v \rangle \]. Luego \[ p \] es punto crítico si y solo si \[ \langle Ap, v \rangle = 0 \] para todo \[ v \in T_pS^2 \], si y solo si \[ Ap \in (T_pS^2)^\perp \]...
A ver si puedes concluir a partir de aquí.