Hola,
Si quieres mi opinión, por lo que cuentas creo que lo que necesitas ya es "dar el salto", es decir, dejarte de libros de cálculo con un enfoque intuitivo y "operacional" (es decir, con el objetivo de que sepas hacer cuentas y resolver problemas más que demostrar teoremas) y lanzarte a un libro de análisis con la teoría establecida de manera rigurosa y lleno de teoremas y demostraciones. Por lo que cuentas veo que ya has leído libros de la primera clase que he mencionado, y en cualquier caso, estando en física vas a tener que calcular integrales, resolver EDO's, etc hasta en la sopa, así que de la parte calculística vas bien servido.
Así que lo que creo que deberías hacer ahora es tomar un libro más riguroso, por ejemplo el Spivak (que es mucho más suave que el Rudin, el cual dejaría para un siguiente estadio), y ponerte a leer desde el principio, asegurándote de que entiendes todo lo que has leído antes de continuar. Si no entiendes algo después de darle unas cuantas vueltas, le preguntas a alguien o lo planteas en el foro (lo ideal sería tener a un tutor al lado con el que poder consultar). Intenta hacer ejercicios (especialmente demostrar cosas) pero no te ofusques si no te salen.
Aprender a demostrar correctamente es algo que cuesta bastante al principio, pero tienes que empezar ya o te quedarás "estancado" (y desde luego, no esperes que en la carrera de física te enseñen a demostrar: todo lo que quieras aprender de matemáticas con total rigor vas a tener que aprenderlo tú solo). Un consejo para cuando hagas demostraciones, muy útil sobretodo al principio cuando uno puede no tener claro si la demostración que ha hecho es o no correcta: una demostración correcta es aquella en la que puedes justificar todos los pasos de manera totalmente obvia. Si das algún paso que te parece correcto pero que no sabrías justificar completamente, no debes dar la demostración por buena.
Espero que el mensaje te sirva de algo.
Saludos