Todavía no estoy completamente seguro de a qué te refieres con "categoría exponencial". Si te refieres a las cartesianas cerradas, la idea es lo que te puse en el otro mensaje. Se pueden decir más cosas, pero tampoco hay demasiado más.
Un objeto exponencial es un objeto de la forma \( C^B \), de manera que para todo objeto \( A \) hay una correspondencia biyectiva entre \( Hom(A \times B, C) \) y \( Hom(A, C^B) \). Esto se puede pensar como un "objeto de morfismos interno". De nuevo lo más sencillo es pensar en Set, la categoría de los conjuntos. Dados dos conjuntos \( X,Y \) tienes por un lado el conjunto de morfismos entre ellos en la categoría Set, \( Hom(X,Y) \). Pero por otro lado, como \( Hom(X,Y) \) es un conjunto, lo podemos pensar como un objeto de Set. Visto así, como objeto, se denota por \( Y^X \), y hay una correspondencia entre elementos de \( Hom(X,Y) \) y elementos de \( Hom(1, Y^X) \) (aquí \( 1 \) es el objeto terminal, un objeto con un único elemento).
En Set esto no es demasiado sorprendente, pero en muchas categorías los conjuntos de morfismos tienen más estructura de manera natural y se pueden ver como objetos de la categoría. Por ejemplo, si \( Y,Z \) son espacios topológicos, entonces puedes considerar el objeto de funciones continuas de \( Y \) en \( Z \) con la topología compacta-abierta, \( Z^Y \), que es un espacio topológico y por tanto un objeto de Top. De todas maneras, aquí ese objeto no siempre es exponencial, porque no siempre es cierto que el funtor \( -\times Y \) es adjunto al funtor \( (-)^Y \) (sí es cierto si \( Y \) es localmente compacto, por ejemplo).
Hay generalizaciones importantes de esto, como el de las categorías monoidales cerradas, donde sustituyes el producto cartesiano por un producto monoidal. El ejemplo paradigmático es la categoría de \( k \)-espacios vectoriales, o la de grupos abelianos, donde el producto cartesiano se sustituye por el producto tensorial y sigues teniendo una adjunción de \( - \otimes B \) con \( (-)^B \), donde ahora \( C^B \) es el espacio vectorial (o grupo abeliano) de las aplicaciones lineales de \( B \) en \( C \). Pero esto quizás se va ya un poco del tema.
Sobre referencias, en cualquier libro de categorías general (por ejemplo, el de MacLane) si buscas por "cartesian closed category" o por "monoidal closed category" te saldrán estas cosas.
Sobre la pregunta con la relación con la "teoría de los exponentes", de nuevo no sé demasiado bien a qué te refieres. Si te refieres a las reglas de los exponentes del estilo \( (a^b)^c = a^(bc) \), hay propiedades análogas en categorías cartesianas cerradas. La idea de la conexión es que al igual que la unión disjunta de conjuntos finitos o el producto cartesiano de conjuntos finitos se pueden ver como categorificaciones de la unión y el producto de números naturales (en el sentido de que el cardinal de la unión disjunta es la suma de cardinales y el cardinal del producto cartesiano es producto de cardinales), la exponenciación de conjuntos finitos se puede ver como una categorificación de la exponenciación de naturales (en el sentido de que \( |A^B|=|A|^|B| \)).
No sé si esto te aclara mucho o te parece demasiado vago, pero si quieres puedes poner preguntas más concretas e intento responder.