La red de Frenet se define a través de un proceso de ortonormalización de Gram-Schmidt a través de las derivadas de la función que parametriza la curva con la salvedad de que, por definición, la red está orientada positivamente respecto a la base estándar de \( \mathbb{R}^n \), y es eso lo que decide el signo de cada curvatura.
Me explico: si tenemos una curva regular \( \gamma :(a,b)\to \mathbb{R}^n \) tal que en cada punto de la curva \( \dot \gamma ,\ddot \gamma ,\ldots ,\gamma ^{(n)} \) define una base de \( \mathbb{R}^n \) entonces a esa curva se la llama completa, y a partir de la base anterior definimos una base ortonormal \( \mathrm{e}_1,\ldots ,\mathrm{e}_n \) (utilizando el procedimiento de Gram-Schmidt), llamada red de Frenet, tal que las sub-bases \( \dot \gamma ,\ldots ,\gamma ^{(k)} \) y \( \mathrm{e}_1,\ldots ,\mathrm{e}_k \), además de generar el mismo subespacio vectorial, tienen la misma orientación (como bases del subespacio que generan) para \( k \in\{1,\ldots,n-1\} \), y la base al completo está positivamente orientada, respecto a la base ortonormal estándar.
Entonces en cada plano generado por \( \mathrm{e}_j,\mathrm{e}_{j+1} \) (para cada \( j\in\{1,\ldots,n-1\} \)) le asociamos a \( \gamma \) una curvatura, la cual se define como \( \kappa _j:=\langle \dot {\mathrm{e}}_j,\mathrm{e}_{j+1} \rangle/\|\dot \gamma \|_2 \). En el caso de \( n=3 \) se usa la notación \( \tau \) en vez de \( \kappa _2 \) y se le denomina torsión (y también se usa la notación \( \mathbf{t} \) en vez de \( \mathrm{e}_1 \), \( \mathbf{n} \) en vez de \( \mathrm{e}_2 \), y \( \mathbf{b} \) en vez de \( \mathrm{e}_3 \)).
Entonces, y resumiendo, el criterio del signo de las curvaturas de debe a la forma en la que se definen que, a su vez, siguen un criterio de orientación de la red de Frenet.
Añadido: se me olvidaba mencionar el por qué aparece ese signo menos en la identidad que mencionas. Eso se debe a que en una red de Frenet se tiene que \( \langle \mathrm{e}_j,\mathrm{e}_k \rangle=\delta _{j,k} \) y por tanto \( \langle \dot {\mathrm{e}}_j,\mathrm{e}_k \rangle=-\langle \mathrm{e}_j,\dot {\mathrm{e}}_k \rangle \). En el caso de \( n=3 \) (y con parametrización por longitud de arco) eso significa que \( \tau =\langle \dot {\mathbf{n}}, \mathbf{b} \rangle=-\langle \mathbf{n}, \dot {\mathbf{b}} \rangle \). Por último faltaría mostrar que \( \mathbf{n} \) y \( \dot {\mathbf{b}} \) son colineales para obtener la identidad \( \dot {\mathbf{b}}=-\tau\mathbf{n} \), lo cual se sigue fácilmente de la manera en la que está construida la red de Frenet (entre otras cosas tenemos que \( \dot{\mathbf{t}} \) y \( \mathbf{n} \) son colineales también).
Por completar, tenemos que
\( \displaystyle{
\dot {\mathbf{b}}=\langle \dot {\mathbf{b}}, \mathbf{t} \rangle \mathbf{t}+\langle \dot {\mathbf{b}},\mathbf{n} \rangle \mathbf{n}+\overbrace{\langle \dot {\mathbf{b}},\mathbf{b} \rangle \mathbf{b}}^{=0}
=\langle \dot {\mathbf{b}}, \mathbf{t} \rangle \mathbf{t}+\langle \dot {\mathbf{b}},\mathbf{n} \rangle \mathbf{n}=-\langle \mathbf{b}, \dot {\mathbf{t}} \rangle \mathbf{t}+\langle \dot {\mathbf{b}},\mathbf{n} \rangle \mathbf{n}
} \)
Pero \( \dot {\mathbf{t}}=\ddot \gamma \in \operatorname{span}(\mathbf{t},\mathbf{n}) \) (cuando parametrizamos por longitud de arco) y por tanto \( \langle \mathbf{b}, \dot {\mathbf{t}} \rangle=0 \), de donde se sigue finalmente que \( \dot {\mathbf{b}}=\langle \dot {\mathbf{b}},\mathbf{n} \rangle \mathbf{n}=-\tau \mathbf{n} \).∎