Hola.
Muestro un posible camino con ayuda de este vídeo:
Empleamos el mismo contorno para usar residuos y el procedimiento es igualmente válido para tu integral. Sea la función \( f(z)=\displaystyle\frac{log^2(z)}{z^4+z^2+1} \) y buscamos \( \displaystyle\oint\limits_{\Gamma}f(z)\,\mathrm{d}z \), donde \( \Gamma \) es el mismo contorno del vídeo.
1) En el semicírculo (semiplano positivo) caen los dos primeros polos simples del denominador, que son \( z1=e^{i\pi/3} \) y \( z2=e^{2i\pi/3} \). Calculamos los residuos correspondientes con su definición:
\( res_{z1}=\displaystyle\lim_{z \to{}e^{i\pi/3}}{(z-e^{i\pi/3})f(z)}=\frac{3+i\sqrt[ ]{3}}{108}\pi^2 \)
\( res_{z2}=\displaystyle\lim_{z \to{}e^{2i\pi/3}}{(z-e^{2i\pi/3})f(z)}=\frac{3i+\sqrt[ ]{3}}{27}i\pi^2 \)
\( 2\pi i\displaystyle\sum_{}^{}res=-\displaystyle\frac{9i+5\sqrt[ ]{3}}{54}\pi^3 \)
2) En el minuto 13:08 vemos el resultado previo que ajustamos a nuestro caso:
\( -\displaystyle\frac{9i+5\sqrt[ ]{3}}{54}\pi^3=2\int_{0}^{\infty}\frac{log^2(x)}{x^4+x^2+1}dx-\pi^2\int_{0}^{\infty}\frac{1}{x^4+x^2+1}dx+2\pi i\int_{0}^{\infty}\frac{log(x)}{x^4+x^2+1}dx \)
En este punto toca hacer una pausa y meterse con el cálculo de \( \displaystyle\int_{0}^{\infty}\frac{1}{x^4+x^2+1}dx \). Una opción es seguir un camino similar con la función \( f(z)=\displaystyle\frac{1}{z^4+z^2+1} \); estos cálculos los dejo para otro momento y pongo el resultado: \( \displaystyle\frac{\pi}{2\sqrt[ ]{3}} \). En este vídeo se ve cómo calcular una muy similar y el procedimiento (recordar que es una función par):
Tenemos entonces que
\( -\displaystyle\frac{9i+5\sqrt[ ]{3}}{54}\pi^3=2I_1-\pi^2\frac{\pi}{2\sqrt[ ]{3}}+2\pi i I_2 \)
Igualamos partes real e imaginaria y obtenemos el resultado deseado, más otro de regalo:
\( 2I_1-\displaystyle\frac{\pi^3}{2\sqrt[ ]{3}}=-\frac{5\sqrt[ ]{3}}{54}\pi^3\Longrightarrow{I_1=\int_{0}^{\infty}\frac{log^2(x)}{x^4+x^2+1}dx}=\frac{\pi^3}{9\sqrt[ ]{3}} \)
\( 2\pi I_2=-\displaystyle\frac{9}{54}\pi^3\Longrightarrow{I_2=\int_{0}^{\infty}\frac{log(x)}{x^4+x^2+1}dx=-\frac{\pi^2}{12}} \)
Saludos