La notación de Leibniz siempre me ha resultado bastante problemática, porque oculta las relaciones entre las variables y las funciones. Por ejemplo si \( x\mapsto y(x) \) y \( x(t)=u(t)+t \), entonces \( t\mapsto (y\circ x)(t)=y(u(t)+t) \) luego
\( \displaystyle{
\frac{d}{d t}(y\circ x)(t)=\frac{d}{d x}(y\circ x)(t)\frac{d}{d t}x(t)=(u'(t)+1)\frac{d}{d x}(y\circ x)(t)
\implies \frac{d}{d x}(y\circ x)(t)=\frac1{u'(t)+1}\frac{d}{d t}(y\circ x)(t)
} \)
Si asumimos que \( y=u-t \) quiere decir que \( (y\circ x)(t)=u(t)-t \) entonces esto último se reduce a
\( \displaystyle{
\frac{d}{d x}(y\circ x)(t)=\frac{u'(t)-1}{u'(t)+1}
} \)
Esto en la notación del ejercicio correspondería a \( \frac{d y}{d x}=\frac{u'-1}{u'+1} \). Luego, de lo anterior y si resulta que \( \frac{d}{d x}=\frac{d t}{d x}\frac{d}{d t} \), se sigue que \( \frac{d t}{d x}=\frac1{u'(t)+1} \) expresado esto último respecto de \( t \) (la notación aquí es bastante aberrante, en el sentido de que la derivada respecto de \( x \) debería estar expresada respecto a la variable \( x \), no \( t \), estamos implícitamente usando funciones \( x\mapsto t(x) \) y \( t\mapsto x(t) \) que son una la inversa de la otra), por tanto
\( \displaystyle{
\begin{align*}
\frac{d}{d x^2}(y\circ x)(t)&=\frac1{u'(t)+1}\frac{d}{d t}\left(\frac{u'(t)-1}{u'(t)+1}\right)\\
&=\frac1{u'(t)+1}\cdot \frac{u''(t)(u'(t)+1)-(u'(t)-1)u''(t)}{(u'(t)+1)^2}\\
&=\frac{2u''(t)}{(u'(t)+1)^3}
\end{align*}
} \)
Si fuese así, nos quedaría la ecuación
\( \displaystyle{
\begin{align*}
\frac{d^2 y}{d x^2}+(x+y)\left(1+\left(\frac{dy}{d x}\right)^3\right)&=\frac{2u''}{(u'+1)^3}+2u\left(1+\frac{(u'-1)^3}{(u'+1)^3}\right)\\
&=\frac{2u''+2u(2(u')^3+6u')}{(u'+1)^3}\\
&=\frac{4u(u')^3+12uu'+2u''}{(u'+1)^3}
\end{align*}
} \)
Por tanto quedaría que
\( \displaystyle{
\frac{d^2 y}{d x^2}+(x+y)\left(1+\left(\frac{dy}{d x}\right)^3\right)=0\iff u(2(u')^3+6u')+u''=0\,\land\, u'\neq -1
} \)
Pero no sé si mi interpretación es del todo correcta o hay que suponer alguna otra cosa.
Añadido: yo suelo usar la notación general de derivada \( \partial f \) (y nunca la de Leibniz, exceptuando en geometría diferencial que, además de ser estándar, es clara porque el contexto específico hace clara la dependencia funcional), que se refiere a la derivada de Fréchet de la función \( f \). Aunque en este caso podemos usar la notación de Lagrange (el apóstrofe) para indicar lo mismo. Usando tal notación y asumiendo que el cambio de variable es una función real denominada \( x \) se pide desarrollar la identidad \( y''\circ x+(x+y)\cdot \left(1+(y'\circ x)^3\right)=0 \) usando que \( x=u+\operatorname{id} \) e \( y\circ x=u-\operatorname{id} \) siendo \( u \) una función real desconocida e \( \operatorname{id}:\mathbb{R}\to \mathbb{R} \) la función identidad.
Entonces usando la regla de la cadena tenemos que \( (y\circ x)'=(y'\circ x)\cdot x' \) y sustituyendo encontramos que \( y'\circ x=\frac{u'-1}{u'+1} \). Del mismo modo de la regla de la cadena se tiene que \( (y'\circ x)'=(y''\circ x)\cdot x' \), lo que desarrollando nos deja la misma solución de arriba, es decir que
\( \displaystyle{
y''\circ x+(x+y)\cdot \left(1+(y'\circ x)^3\right)=2\frac{u''+u\cdot (2(u')^3+6u')}{(u'+1)^3}
} \)
Es un desarrollo mucho más limpio, claro y sin "variables" de ninguna clase, únicamente funciones (como debería ser siempre en matemáticas, las variables son cosas de físicos y lógicos 😁).