A mí me queda lo siguiente: como \( \mathbf{n}=\frac1{r}(x,y,z) \) para \( r:=\sqrt{x^2+y^2+z^2}=3 \) entonces
\[
\mathbf{F}\cdot \mathbf{n}|_S=\frac{x^2+y^2+z^2}{r}=3
\]
Por otro lado tenemos que \( dS=\mathbf{n}\,{\Large\lrcorner}\, \omega =\frac1{3}(xdydz-ydxdz+zdxdy) \) (para \( \omega :=dx\wedge dy\wedge dz \)). Si definimos \( \eta :=(\mathbf{F}\cdot \mathbf{n})dS=xdydz-ydxdz+zdxdy \), entonces tenemos que
\[
\int_{S}\eta =\int_{\varphi^{-1} (S)}\varphi^* \eta =\int_{D}\frac{9}{\sqrt{9-x^2-y^2}}dxdy,\quad \text{ donde }D:=\{(x,y)\in \mathbb{R}^2: x^2+y^2\leqslant 3x\}
\]
ya que \( \varphi ^*dz=d(\varphi ^*z)=d\varphi _3=d(\sqrt{9-x^2-y^2})=-\frac{xdx+ydy}{\sqrt{9-x^2-y^2}} \). Usando coordenadas polares nos queda
\[
\int_{S}(\mathbf{F}\cdot \mathbf{n})dS=9\int_{{\color{red}{- \pi/2}}}^{{\color{red}{\pi/2}}}\int_{0}^{3\cos \alpha }\frac{\rho d\rho d\alpha }{\sqrt{9-\rho ^2}}=9\int_{{\color{red}{-\pi/2}}}^{{\color{red}{\pi/2}}}(3-\sqrt{9-9\cos ^2 \alpha })\,d \alpha =27\left(\pi-2\int_{0}^{\pi/2}\operatorname{sen}\alpha \,d \alpha \right)=27(\pi -2)
\]
Tendría que revisar mis cálculos, pero ahora mismo no veo que haya cometido error alguno.
Añadido:Calcular: $$\int \int_{S}F.n dS$$ donde $$F(x,y,z)=(x,y,z)$$ y $$S$$ la superfície del hemisferio superior de la esfera $$x^2+y^2+z^2=9$$ dentro del cilindro $$x^2+y^2=3x,$$ orientada con normal apuntando afuera de la superfície.
Hice lo siguiente: Parametrice la superficie por: $$\varphi(x,y,z)=(x,y,\sqrt{9-x^2-y^2})$$ luego
$$\varphi_{x} \times \varphi_{y}=\Big( \frac{x}{\sqrt{9-x^2-y^2}}, \frac{y}{\sqrt{9-x^2-y^2}},1 \Big)$$ normal apuntando para fuera de la esfera.
El cilindro es: $$(x-\frac{3}{2})^2+y^2=(\frac{3}{2})^2.$$
Hasta aquí todo bien, pero observa que
\[
\mathbf{F}\cdot (\varphi _x \times \varphi _y)=\frac{9}{\sqrt{9-x^2-y^2}}
\]
que es lo mismo que obtengo yo. Es decir, tu error está en el paso en el que calculas \( \mathbf{F}\cdot (\varphi _x \times \varphi _y) \).
Corregido: error muy tonto, es en \( [-\pi/2,\pi/2] \) donde la función coseno es no-negativa, no en \( [0,\pi] \) como había puesto originalmente.