Buenas Britspirit,
Al componer funciones, a mi me gusta verlo como evaluar la primera función en la segunda, por ejemplo si tienes \( g \circ f \) puedes verlo como \( g(f(x)) \).
Ahora para tu problema en la parte (a) te piden \( g \circ f \), entonces basta con tomar la expresión de f y evaluarla en g, quedaría algo así:
\( (g \circ f)(x)= \displaystyle 1 - \sqrt{\frac{3x+1}{x-3}-2} \)
simplificando la fracción queda
\( (g \circ f)(x)= \displaystyle 1 - \sqrt{\frac{x+7}{x-3}} \)
Ahora debes hacer lo mismo pero evaluando g en f.
Espero haberte ayudado.
Saludos,
Franco.