Tal vez sea porque me estoy equivocando en la dirección de \( \vec{F} \). Yo interpreté que la dirección es perpendicular a la superficie de la rampa cuando quizás sea radial (y tenga por tanto componente tanto en \( \hat{i} \) como en \( \hat{j} \)).
Creo que ése era un error importante que tenía. Interpretando así, o sea, que \( \vec{F} \) (la fuerza que la cuña le hace a la esfera) es en la dirección de la recta que une el punto de contacto con el centro de la esfera, se tiene ahora que \( \vec{F}=F_x\hat{i}+F_y\hat{j} \) entonces lo que había escrito antes,
\( F-Mg\sen\alpha=0 \) (en la componente \( \hat{i} \))
\( N-Mg\cos\alpha=0 \) (en la componente \( \hat{j} \))
se transforma en
\( F_x-Mg\sen\alpha=0 \) (en la componente \( \hat{i} \))
\( N+F_y-Mg\cos\alpha=0 \) (en la componente \( \hat{j} \))
Como el torque que realiza \( \vec{F} \) tiene que ser nulo, se tiene que:
\( \begin{align*}
0&=\vec{r}\times (F_x\hat{i}+F_y\hat{j})\\
&=\vec{r}\times (F_x\hat{i})+\vec{r}\times (F_y\hat{j})\\
&=(r_x\hat{i}+r_y\hat{j})\times (F_x\hat{i})+(r_x\hat{i}+r_y\hat{j})\times (F_y\hat{j})\\
&=(r_y\hat{j})\times (F_x\hat{i})+(r_x\hat{i})\times (F_y\hat{j})\\
&=-\dfrac{1}2RF_x\hat{k}+\dfrac{\sqrt{3}}{2}RF_y\hat{k}\\
\end{align*} \)
De lo último, lo que se concluye es que \( F_x=\sqrt{3}F_y \).
En resumida cuenta, he llegado a que para que la esfera esté en equilibrio estático, hace falta que:
\( F_x-Mg\sen\alpha=0 \)
\( N+F_y-Mg\cos\alpha=0 \)
\( F_x=\sqrt{3}F_y \)
Habría ahora que calcular el máximo \( \alpha \) para el cual las anteriores ecuaciones son ciertas...