Hola.
Veamos, tenemos que mostrar que el límite
\( \displaystyle\lim_{x \to0}\dfrac{f(x)}{x} \)
No existe, para esto bastará mostrar la existencia de dos sucesiones \( (a_{n}) \) y \( (b_{n}) \) tales que \( \displaystyle\lim_{n\to\infty}a_{n}=\lim_{n\to\infty}b_{n}=0 \) y
\( \displaystyle\lim_{n\to\infty}\dfrac{f(a_{n})}{a_{n}}\neq\lim_{n\to\infty}\dfrac{f(b_{n})}{b_{n}} \) \( (\alpha) \)
Entonces, aprovechando que el comportamiento de la función es particularmente distinto en los racionales y los irracionales, podemos considerar por ejemplo
\( a_{n}=\dfrac{1}{n} \) y \( b_{n}=\dfrac{\sqrt{2}}{n} \)
Pues de este modo conseguimos que se verifique \( (\alpha) \), y esto muestra que el límite inicial no existe.
Saludos.