Yo haría lo siguiente: tienes, atendiendo al valor y sin contar la última carta, \( \binom{13}2 \) dobles pares posibles, y de cada par sobre un determinado valor (atendiendo a los palos) tienes \( \binom{4}2 \) pares posibles.
Entonces hay un total de \( \binom{4}2^2\binom{13}2 \) dobles pares posibles, obviando la última carta. Ahora bien, la última carta se elige de un total de \( (13-2)4=44 \) valores posibles, por tanto nos queda un total de \( 44\binom{4}2^2\binom{13}2=44\cdot6^3\cdot 13 \). Dependiendo de la versión del póker jugado habría que descartar otras jugadas posibles, de mayor valor, como la de figuras o color.
También para el total de jugadas puedes considerar, si quieres, \( \binom{54}5 \), si metes dos comodines en la baraja.
La diferencia con tu planteamiento es que tú has considerado pares ordenados, relativamente, entre los dos, con algún orden específico, es decir consideras que las manos \( AA JJ 3 \) y \( JJ AA 3 \) son diferentes, y además no estás considerando las manos \( AJAJ 3 \).
Para el caso del trío el número de tríos (sin contar comodines ni las otras dos cartas) es de \( \binom{13}1\cdot\binom{4}3 \). Luego, de los 12 valores restantes, debes elegir dos diferentes, es decir tienes \( \binom{12}2 \) pares con distinto valor, y de cada valor tienes 4 palos posibles, por tanto el total de tríos sin comodines es de \( \binom{13}1\binom{4}3\binom{12}2 4^2=13\cdot 4\cdot 11\cdot 6\cdot 4^2 \). Al igual con lo anterior deberías descartar jugadas de color o figuras, si es que estas jugadas tienen mayor valor que un trío (cosa que no recuerdo).
Si quieres contar los casos de comodines entonces deberías sumar a lo anterior los casos con un comodín, y los casos con los dos comodines. Pero el tema en este punto se complica bastante, ya que habría que descartar otras jugadas mejores que apareciesen con algún comodín (como escalera, o escalera de color).
