Argentinator, yo diría que los límites de la matemática no están claros.
Hace ya unos años hubo un hilo en el foro general (creo) en el que se planteaba qué es la matemática. Yo propuse lo único que vislumbro, a saber, que matemáticas es todo aquello para lo que podemos demostrar teoremas. Según esto la lógica y la metamatemática serían también matemáticas.
Cuando propuse esa misma idea en sci.logic, Aatu Koskensilta me preguntó si, en el caso de que alguien demostrara como un teorema la existencia de Dios, yo consideraría que está haciendo matemáticas; y le dije que sí; y que además en ese caso aparecería en poco tiempo una multitud de matemáticos con demostraciones alternativas, más sencillas, involucrando otros axiomas, etc. Y se crearía toda una disciplina, a saber, la Teología Matemática.
A veces utilizo otra definición más personal de la matemática: aquello cuyo estudio que me provoca sudores.

En cuanto a la meta-meta-meta-...-matemática, me temo que eso es como tú te temes: la metateoría (o parte de ella) de un sistema puede formalizarse en otro sistema (con frecuencia, pero no necesariamente, estrictamente más potente) y así indefinidamente; a veces parte de la metamateoría de un sistema puede formalizarse en ese mismo sistema (es lo que Gustavo nos viene mostrando), pero nunca toda (es lo que el teorema de Gödel demuestra).
En concreto, ningún sistema consistente que contenga la aritmética de Peano puede demostrar su propia consistencia; Gustavo nos adelantó este resultado, que suele llamarse el segundo teorema de Gödel. Así que puedes partir de un sistema como el que Gustavo ha descrito (llámalo PA), que es sin duda consistente, y añadirle un axioma afirmando la consistencia de PA; tienes entonces el sistema PA*, más potente que PA pero que tampoco demuestra su propia consistencia; eso te permite construir PA**, etc.
Generalmente se considera que estos sistemas recurrentes se extienden a través de los ordinales conjuntistas hasta un cierto ordinal transfinito que definieron Church y Kleene. La idea de estas iteraciones parte de un artículo de Turing de 1939 y fue retomada por Feferman en los sesenta (creo); Franzén da una visión general en su 'Inexhaustibility. A Non-Exhaustive Treatment'.
Pero sí: dado un sistema consistente S, hay siempre otro sistema consistente S* que formaliza una parte mayor de la metateoría de S que S mismo.
¡Qué le vamos a hacer!