Hola
sheccid, bienvenido al foro.
Hola quiero ver si sus brillantes mentes me pueden ayudar con este problema!! 
Para mi que más fácil si tomamos origen de referencia en el vértice del cono \( P\equiv{}(0,0,0) \)
La integral de volumen de la divergencia, no creo que te presente ningún problema es casi inmediato.
Para calcular el flujo a través del sólido de la figura ten en cuenta que para la superficie lateral \( \vec{r}=(x,y,z) \) coincide con las generatrices del "conoide" y son ortogonales a su vector normal \( \vec{n} \), por tanto el flujo por estas superficies laterales es cero.
Para la superficie de la base (plano x-y) sólo debes comprobar que en \( |\vec{r}\cdot{}\vec{n}|=r \cos \theta=h \)
Saludos.