Sí, eso es. El lado grafo cerrado implica que la aplicación es continua puede fallar si el espacio de llegada no es Hausdorff compacto, como muestra el contraejemplo que has puesto.
En cambio, la otra implicación (si la aplicación es continua entonces su grafo es cerrado) se cumple siempre que el espacio de llegada sea Hausdorff, aunque no sea compacto.