Hola
Pista: La acomodas así:
\( \sqrt{\dfrac{1+sin(2x)}{2}}=-cos(3x) \)
\( \sqrt{\dfrac{1+cos(\pi/2-2x)}{2}}=cos(\pi+3x) \)
\( |cos(\pi/4-x)|=cos(\pi+3x) \) (*)
Por terminar. Como buscamos la solución cumpliendo \( x\in [\pi,3\pi/2] \) se tiene que:
\( \pi/4-x\in [\pi/4-3\pi/2,\pi/4-\pi]=[-5\pi/4,-3\pi/4] \)
Es decir \( \pi/4-x \) está en el segundo o tercer cuadrante y por tanto el coseno es negativo. (*) queda:
\( -cos(\pi/4-x)=cos(\pi+3x) \)
(me arrepiento de haber puesto al principio \( -cos(3x)=cos(\pi+3x) \) y lo deshago

)
\( -cos(\pi/4-x)=-cos(3x)\quad \Leftrightarrow{}\quad cos(\pi/4-x)=cos(3x) \)
Finalmente usamos que:
\( cos(A)=cos(B)\quad \Leftrightarrow{}\quad \begin{cases}{A=B+2k\pi}&\text{con}& k\in \Bbb Z\\A=-B+2k\pi & &\text{con}& k\in \Bbb Z\end{cases} \)
Entonces:
- Caso 1:
\( \pi/4-x=3x+2k\pi\quad \Rightarrow{}\quad x=\dfrac{\pi}{16}-k\dfrac{\pi}{2} \)
Para que \( x\in [\pi,3\pi/2] \) la única solución es \( k=-2 \) y así \( x=\dfrac{17\pi}{16} \).
- Caso 2:
\( \pi/4-x=-3x+2k\pi\quad \Rightarrow{}\quad x=-\dfrac{\pi}{8}+k\pi \)
pero en ese caso es imposible que \( x\in [\pi,3\pi/2] \).
Así la única solución es \( \boxed{x=\dfrac{17\pi}{16}} \).

Saludos.