Efectivamente no puede quedar negativa. Definiendo \( c:=a/b \) nos quedan las raíces como \( r_{\pm}=-c\pm\sqrt{c^2-1} \), quedando la integral como
\( \displaystyle \frac{16}{ib^2}\oint\frac{z\,dz}{((z-r_{-})(z-r_{+}))^2}\tag1 \)
Si una de las raíces no pertenece al disco unidad entonces es más fácil, si ambas pertenecen al disco unidad entonces lo que se puede hacer es escribir el integrando de la forma \( \frac{A}{(z-r_{-})^2}+\frac{B}{(z-r_{+})^2} \) y resolver cada integral por separado. ¿Por qué lo hago así? Pues porque ahora te quedan cosas del tipo \( \frac{p(z)\,dz}{(z-r)^2} \) donde \( p(z) \) es un polinomio de, a lo sumo, grado 2, pudiéndose simplificar en cosas muy inmediatas de integrar gracias a la identidad
\( \displaystyle \oint \frac{K}{(z-r)^n}\,dz=\begin{cases}0,&\text{ si }n\in\Bbb Z\setminus\{1\}\\ 2\pi i,&\text{ si }n=1\end{cases}\tag2 \)
cuando \( K \) es una constante y \( r \) es un punto del disco unidad. O también puedes usar la siguiente identidad más general
\( \displaystyle \frac{(n-1)!}{2\pi i}\int_{\partial\Bbb D(a, R)}\frac{f(z)}{(z-\zeta)^n}\, dz=f^{(n-1)}(\zeta)\tag3 \)
cuando \( f \) es holomorfa en el disco cerrado \( \overline{\Bbb D(a,R)} \) y \( \zeta\in\Bbb D(a,R) \).
También, en vez de todo eso, una vez separado el integrando en fracciones del tipo \( \frac{A}{(z-r_{-})^2}+\frac{B}{(z-r_{+})^2} \) puedes escribir la serie de Laurent de las funciones \( \frac1{(z-\alpha)^n} \) usando la serie de Laurent de la función \( \frac1{z-\alpha} \), que es la serie geométrica con potencias positivas o negativas (dependiendo de si \( \alpha \) pertenece al disco sobre el que se integra o no) y luego diferenciando.