El criterio yo lo veo bien, y creo que no había visto nunca antes.
La idea es que lo de dentro del valor absoluto es la expresión en serie de Fourier de una onda cuadrada, de manera que el valor absoluto vale \( 0 \) si \( x/m \) es entero y \( 1 \) si no lo es. Luego el sumatorio nos da el número de no divisores de \( x \) entre \( 1 \) y \( x \) (ambos incluidos). Como \( x>2 \) es primo si y sólo si el número de no divisores de \( x \) entre \( 1 \) y \( x \) es \( x-2 \), el criterio funciona. Además, \( f(1)\neq 0 \), luego funciona también para \( x=1 \).
Ahora bien, aunque es interesante su utilidad práctica es bastante limitada. Como hay que sumar series infinitas, no parece algo que se pueda implementar algorítmicamente en un ordenador, por ejemplo.