Hola el área de un triangulo equilátero de lado L es $$A=\dfrac{\sqrt3}{4}L^2$$ y la de un cuadrado es $$L^2$$
Si el segmento donde están sus lados tiene 6 cm y llamas $$x$$ al lado del cuadrado, entonces el triángulo tiene lado $$6-x$$
Luego el área a maximizar es la suma de las áreas de un cuadrado de lado $$x$$ y de un triangulo de lado $$6-x$$
$$S(x)=x^2+\dfrac{\sqrt3}{4}(6-x)^2$$
luego derivas e igualas a cero
$$\frac{{\partial S(x)}}{{\partial x}}=0=2x-\dfrac{\sqrt3}{2}(6-x)$$
despejas $$x$$ y tienes el lado del cuadrado $$x\cong 1.813\quad\to\quad 6-x\cong4.186$$ este es el lado del triángulo.
$$\frac{{\partial^2 S(x)}}{{\partial x^2}}=2+\dfrac{\sqrt3}{2}(x)>0$$ entonces es un mínimo no un máximo
$$S(x)=10.871cm^2$$ es el mínimo pues, si el cuadrado tuviera $$6 cm$$ el área sería de $$S(6)=36cm^2$$ y máxima, al otro extremo si el triangulo tuviera 6m de lado área $$S=(0)$$ sería $$15.588 cm^2$$... $$S(x)$$ es mínima