Es una pregunta muy general. Los algoritmos pueden estudiarse matemáticamente como cualquier otra cosa, y existen distintos enfoques, como la teoría de autómatas, aunque no sé mucho de esas cosas.
Pero, dado que lo que parece interesarte es la aritmética, tal vez no te interesa la pregunta en toda su generalidad, sino sólo en el contexto de la existencia de algoritmos para efectuar cálculos aritméticos. En tal caso la teoría de la recursión (y, a lo sumo, la de las máquinas de Turing) proporcional en fundamento formal para hablar de cálculos realizables efectivamente mediante un algoritmo.
