Creo que tu problema no es el hexadecimal, sino el formato fraccionario.
Con la opción RGB de \color, se pueden ingresar los números enteros de 0 a 255:
\color[RGB]{128,0,0}
\( \color[RGB]{128,0,0}\displaystyle\sum_{i=1}^\infty{\dfrac1i} \)
Es posible especificar colores con
hexadecimales, pero lo veo algo inconsecuente en su significado,
porque el modelo de color para hacer esto es HTML, que no parece tener nada que ver con el típico PDF que uno producen en LaTeX.
El modelo HTML también tiene el formato Red-Green-Blue,
y uno especifica el color con dos dígitos hexadecimales por cada color básico, asÍ
RRGGBB\color[HTML]{800000}
\( \color[HTML]{800000}\displaystyle\sum_{i=1}^\infty{\dfrac1i} \)
Los modelos de color están explicados por ejemplo en:
http://en.wikibooks.org/wiki/LaTeX/Colors