Hola.
Hmmm... el enunciado no es muy claro, para que la respuesta sea \( 10 \), se debe especificar que en los arreglos válidos no debe haber dos huecos consecutivos y que los libros son iguales.
Para contar el número de arreglos de libros permitidos, observa que este número es igual al número de formas de ubicar tres "huecos" en una estantería con capacidad para \( 5 \) libros (de cualquier forma).
Spoiler
Pues por cada uno de estos últimos arreglos si agregamos un espacio para un libro entre dos "huecos" y colocamos un libro, obtenemos un arreglo permitido (con cuatro libos y tres huecos de modo que no existan dos huecos consecutivos) y reciprocamente, si por cada arreglo permitido quitamos un libro (y el espacio que este ocupa) entre dos huecos obtenemos un arreglo cualquiera de tres huecos en una estantería con capacidad para \( 5 \) libros.
Por tanto el número de arreglos permitidos es \( \displaystyle\binom{5}{3}=10 \)
Si tienes alguna duda, pregunta.
Saludos.