En este foro nos la pasamos debatiendo sobre este tema... mmmm...
Las ramas estandarizadas de la Matemática están sustentadas
en la Teoría de Conjuntos.
Hay 3 teorías de conjuntos principales (1 sin clases propias, ZFC; y 2 con clases propias, NGB y MK),
y la más invocada o utilizada es ZFC.
A su vez, ZFC se define formalmente en términos de un lenguaje formal,
también estandarizado, que se llama Lógica de Primer Orden.
El estudio de los alcances y coherencia de la Lógica de Primer Orden y ZFC,
se realiza mediante una forma especial de trabajo, que se denomina Metamatemática, pues se encarga de estudiar a la Matemática por sí mismo como objeto de estudio, aunque los métodos utilizados siguen siendo parte de la Matemática misma.
Cualquier libro de Teoría de Conjuntos que profundice sobre la teoría de Zermelo-Fraenkel + Choice-Axiom y Lógica de Primer Orden, te servirá para estudiar los detalles.