Hola
¿Cómo se demuestra que la operación restringida al conjunto \( H \) no es cerrada?
Me cuesta encontrar un contraejemplo donde podamos incluir todos los involutivos, pues creo que \( H=\left\{{X\in \mathbf{GL}_2(\mathbb R):X^2=I}\right\} \) es un conjunto infinito.
Como te indica
ani_pascual y también de indicó
Fernando, basta dar dos elementos de \( H \) cuyo producto no esté en \( H \), y ya te han dado esos elementos:
Para el grupo lineal de orden \( 2 \), elige \( A=\begin{bmatrix}{0}&{1}\\{1}&{0}\end{bmatrix} \) y \( B=\begin{bmatrix}{2}&{-1}\\{3}&{-2}\end{bmatrix} \). Comprueba que \( A \) y \( B \) son involutivas pero que \( AB \) no lo es.
Si quieres un ejemplo en un grupo finito toma \( G=S_3 \) el grupo de permutaciones de \( 3 \) elementos; los elementos involutivos son las trasposiciones y el neutro (cuatro elementos), pero no forman un subgrupo (entre otras cosas porque \( 4 \) no es divisor de \( ord(G)=6 \)).
En general en el grupo de permutaciones \( S_n \) con \( n\geq 3 \) los elementos involutivos nunca forman un subgrupo porque las trasposiciones están entre ellos y generan todo el grupo \( S_n \), pero hay permutaciones que no son involutivas.
Saludos.