Hola,
Supongo que se refiere a que la matemática se fundamenta en teorías de conjuntos, que son teorías de primer orden. Además, como ya expliqué en otro post, la lógica de segundo orden se puede "simular" con una teoría de conjuntos, de manera que el poder expresivo dentro de la teoría de conjuntos es el mismo que el de la lógica de segundo orden. Aparte de esto, la lógica de segundo orden tiene problemas bastante graves, como la inexistencia de un cálculo completo, lo cual la hace que tengas sentencias verdaderas que nunca podrás probar, con lo que te encuentras en la misma situación de incompletitud que la lógica de primer orden. Aparte de esto, la lógica de primer orden tiene varias propiedades útiles y esenciales para el estudio de modelos que la lógica de segundo orden no comparte (teorema de compacidad y Lowenheim-Skolem, que aunque se pueden ver como producto de uan deficiencia en el poder expresivo de la lógica de primer orden, son extraordinariamente útiles para demostrar teoremas).
Por supuesto puedes formalizar toda la teoría de ecuaciones diferenciales en teoría de conjuntos (que es lo que se hace), ya que las funciones no son más que conjuntos (elementos de la teoría) y puedes cuantificar sobre conjuntos (y por tanto sobre funciones) sin problemas.
Sobre la pregunta original, podrías expandir el lenguaje de la teoría para incluir un símbolo de función f, pero aunque pudieras expresar \( f'' + f = 0 \) (aunque esto tendría que pensarlo con más calma, tengo bastantes dudas de que pueda hacerse ya que necesitas referirte al orden de \( \mathbb{R} \) para expresar los límites, por tanto debes definir el orden a partir de lo que tienes, pero me parece que no es suficiente para hacerlo), ¿cómo definirías \( \pi \) en la teoría algebraica de C?
Saludos