Efectivamente, [] es la funcion piso, la aclaracion de esto junto con la demostracion esta en el segundo link que te pase.
Como involucra un factorial dicha formula tiene tiempo exponencial, no es muy buena para calcular primos grandes.
Lamentablemente no conozco algo parecido a Fourier para funciones discretas.