Hola
Entonces el procedimiento es standard. La matriz \( A \) del sistema y ampliada \( \bar{A} \) son respectivamente:
\( A=\begin{pmatrix}{1}&{-1}&{2}\\{3}&{2}&{1}\\{3}&{7}&{-4}\\{2}&{1}&{b}\end{pmatrix},\qquad
\bar A=\begin{pmatrix}{1}&{-1}&{2}&{1+t}\\{3}&{2}&{1}&{t}\\{3}&{7}&{-4}&{1-t-t^2-t^3}\\{2}&{1}&{b}&{t^3}\end{pmatrix} \)
El sistema es compatible determinado si \( rango(A)=rango(\bar(A))=3 \), compatible indeterminado si \( rango(A)=rango(\bar(A))\neq 3 \) e incompatible en otro caso.
Nota que en este caso \( rango(A)\leq 3 \), por lo que una condición necesaria para la compatibilidad e que \( rango(\bar(A))<4 \). Por Gauss puedes ver que esto ocurre si \( b=1 \) ó \( 4-t^2-t^3=0 \).
La ecuación \( 4-t^2-t^3=0 \) no tiene raíces muy manejables. Conceptualmente eso no es problema, pero a la hora de hacer cuetnas da la lata. Tengo dudas de si has copiado bien el enunciado.
Saludos.