No voy a entrar ni en el tema de las diferenciales ni en el de los infinitésimos y los números hiperreales (aunque es una tema muy interesante). Solamente decir que todo el análisis real se puede justificar sin usar ninguna de las dos cosas (de hecho, es lo que hacen en la inmensa mayoría de libros matemáticos).
No me extraña que te hagas un lío con estas cosas.
Tal como yo lo veo, el problema viene de que, estrictamente hablando, esta igualdad:
\( \displaystyle\int_{}^{} f(g(x)) g'(x) dx = \displaystyle\int_{}^{} f(u) du \)
conceptualmente es, como mínimo, problemática. Hay una igualdad parecida que no da problemas, pero en el contexto de las integrales definidas, donde debes cambiar también los límites de integración.
El problema es el que dices tú: conceptualmente es muy confuso tener que estar identificando variables de integración y funciones de otra variable. Al fin y al cabo se supone que las variables de integración deberían ser mudas. La explicación de por qué esto funciona se puede entender en términos del teorema de cambio de variable para integrales definidas, donde todas estas dificultades conceptuales desaparecen (lo que calculas con una integral definida es un número, no una función) y las variables de integración son realmente mudas.
Pero también se puede entender directamente en términos de primitivas.
Mi sugerencia es que te tomes esa manera de proceder como una regla mnemotécnica o de cálculo tremendamente útil en la práctica (sobre todo en el segundo caso), pero que lo justifiques rigurosamente de la siguiente manera.
Si \( F \) es una primitiva de \( f \), entonces:
\( \displaystyle\int_{}^{} f(g(x)) g'(x) dx = \displaystyle\int_{}^{} F'(g(x))g'(x)dx = \int (F \circ g)'(x)dx = F(g(x)) + C \).
Claramente es el mismo resultado que obtenías con el cambio de variable, pero ahora sin cambiar de variable.
Ahora, la segunda igualdad. Sea \( g \) una función invertible cualquiera y sea \( F \) una primitiva de \( f \). Entonces, si llamamos \( H \) a una primitiva de la función \( x \mapsto f(g(x))g'(x) \), por la primera parte (me salto el tema de las constantes para no liar):
\( H(x) = \displaystyle \int f(g(x))g'(x) dx = F(g(x)) \). Y de aquí:
\( \displaystyle \int f(x)dx = F(x) = F(g(g^{-1}(x)) = H(g^{-1}(x)) \), que es la igualdad que buscábamos.
Como decía antes, otra opción es darse cuenta de que una primitiva para \( f \) es la función
\( F(x) = \displaystyle \int_0^x f(t)dt \)
y usar el teorema de cambio de variable para integrales definidas, que no da ningún tipo de problema. Entonces tienes:
\( F(x) = \displaystyle \int_0^x f(t)dt = \int_{g^{-1}(0)}^{g^{-1}(x)} f(g(t))g'(t)dt = H(g^{-1}(x)) - H(g^{-1}(0)) = H(g^{-1}(x)) + C \)
donde como antes \( H \) es una primitiva de \( x \mapsto f(g(x))g'(x) \).