Para lo primero simplemente debes hallar las derivadas parciales para un \( (x,y)\neq (0,0) \) e intentar evaluar el límite o ver si tiende al valor de la función, es decir
\( \displaystyle \partial_1 f(x,y)=\frac{6x^2}{x^2+3y^2}-\frac{2x(2x^3-y^3)}{(x^2+3y^2)^2}\tag1 \)
Entonces se ve que \( \lim_{(0,y)\to (0,0)}\partial_1 f(x,y)=0\neq 2 \), entonces ya sabes que las derivadas parciales no son continuas por lo que no puedes usar ese criterio para determinar su diferenciabilidad en ese punto.
Para lo segundo: una forma de caracterizar la derivada es así
\( \displaystyle f(v+h)-f(v)-\partial f(v)h\in o(\|h\|),\quad\text{cuando }h\to 0\tag2 \)
que es equivalente a
\( \displaystyle\lim_{h\to 0}\frac{\| f(v+h)-f(v)-\partial f(v)h\|}{\|h\|}=0\tag3 \)
que es simplemente la definición de derivada de Fréchet (teniendo en cuenta que \( \partial f(v) \) debe ser una función lineal). En este caso tendríamos que \( v=(0,0) \) y del cálculo de las derivadas parciales anteriores si existiese la derivada en el cero podría representarse por el gradiente \( \nabla f(0,0)=(2,-1/3) \), entonces tenemos que verificar que con esos datos se cumple (2):
\( \displaystyle \frac{2h_1^3-h_2^3}{h_1^2+3h_2^2}-2h_1+\frac{h_2}3=\frac{h_1h_2}{h_1^2+3h_2^2}\left(\frac{h_1}3-6h_2\right)\in o(\|h\|),\quad\text{cuando }h:=(h_1,h_2)\to (0,0)\tag4 \)
O lo que es lo mismo:
\( \displaystyle \lim_{(h_1,h_2)\to (0,0)}\left|\frac{h_1}3-6h_2\right|\frac{|h_1h_2|}{(h_1^2+3h_2^2)\sqrt{h_1^2+h_2^2}}=0\tag5 \)
Pero tomando \( r:=h_1=h_2 \) nos quedaría que
\( \displaystyle \lim_{r\to 0}\frac{17}3\cdot\frac{|r|^3}{4r^2\cdot\sqrt2 |r|}=\frac{17}{12\sqrt2}\tag6 \)
y como el límite en (6) no es cero entonces (3) no se cumple con el único candidato posible de \( \partial f(0,0) \), por lo cual la función no es diferenciable en el cero.
CORREGIDO Y AMPLIADO.
