Por cierto, la estadística no parametrizada también se conoce como estadística bayesiana ¿no?
No, son cosas distintas. Puedes hacer estadística no paramétrica frecuentista, igual que puedes hacer estadística paramétrica bayesiana.
La estadística no paramétrica se basa en no asumir de entrada que los datos sigan una distribución concreta (como por ejemplo la normal) con algún parámetro a determinar. Por ejemplo, hay métodos para determinar la distribución (o algún parámetro de interés de la distribución, como la esperanza o la varianza) de la que provienen unos datos a partir de los datos, sin asumir de entrada que es de alguna familia concreta.
La estadística bayesiana va en otra dirección. Normalmente en estadística frecuentista supones que puedes realizar el experimento multitud de veces y que los estimadores (si son buenos) van a converger al valor real del parámetro (a esto se le llama consistencia). Es decir, que si repites multitud de veces un experimento y estimas un parámetro, la estimación será más buena cuanto más veces repitas el experimento, y en el límite será ideal.
La estadística bayesiana parte de un planteamiento radicalmente distinto. Supone que la probabilidad de un suceso es "subjetiva", es decir es un "grado de creencia" en que se va a dar un cierto suceso. Esto es muy distinto de la interpretación frecuentista de la probabilidad, que viene a ser el límite de las frecuencias relativas de ocurrencia de un suceso cuando repites el experimento muchas veces, y por tanto es algo objetivo. Entonces, la idea en estadística bayesiana es que tu tienes un grado de creencia inicial (la probabilidad a priori, o prior), observas unos datos, y a partir de los datos observados "actualizas" tus creencias. Pero puedes suponer que los datos siguen una distribución concreta (y tienes estadística paramétrica bayesiana) o no (y tienes estadística no paramétrica bayesiana).
Esto parece un poco raro porque hay un grado importante de subjetividad (por ejemplo, al elegir la distribución del prior), pero es un punto de vista muy útil y que se adapta muy bien a ciertos problemas, aunque no creas en la filosofía que hay detrás.