Hola Leandro, bienvenido
Por esta vez he corregido tu mensaje para el problema se pueda leer directamente en el mensaje. Procura leer las reglas del foro y el tutorial de LaTeX.
En cuanto al problema, veamos
\[ \left(AX^T B\right)^{-1}=B \]
\[ \Rightarrow{\color{blue}\left(AX^T B\right)}\left(AX^T B\right)^{-1}={\color{blue}\left(AX^T B\right)}B \]
\[ =I={\color{black}\left(AX^T B\right)}B \]
\[ \Rightarrow I{\color{blue}}B^{-1}=\left(AX^T B\right)B{\color{blue}}B^{-1} \]
\[ ={\color{black}}B^{-1}=\left(AX^T B\right)I \]
\[ ={\color{black}}B^{-1}=AX^T B \]
\[ \Rightarrow B^{-1}{\color{blue}B^{-1}}=AX^T B{\color{blue} B^{-1}} \]
\[ = (B^{-1})^2=AX^T \]
\[ \Rightarrow {\color{blue} A^{-1}}(B^{-1})^2={\color{blue} A^{-1}}AX^T \]
\[ = {\color{blue} A^{-1}}(B^{-1})^2=X^T \]
\[ \therefore\qquad X=\left(A^{-1}(B^{-1})^2\right)^T \]
Solo falta que hagas esas operaciones, las de la última linea.
Saludos