Hola.
Si buscas homotecia en Google seguro que encontrarás un montón de cosas, entre ellas lo que necesites, ya que depende un poco del contexto.
Para tu ejercicio, calcula el lado del cuadrado original, multiplícalo por la razón de homotecia y ese es el lado del nuevo cuadrado, a partir del cual podrás calcular el área.
Un saludo.