Se usa porque es una manera de hallar el inverso multiplicativo de un número módulo n (como dices

).
Procedo asumiendo que ya sabes aplicarle el algoritmo a dos números cualesquiera para escribir su máximo común divisor como combinación lineal.
Decimos que \( a \) es un inverso modular de \( b \) módulo \( n \) si \( ab\equiv 1\ (\mbox{mod}\ n) \)
Se prueba fácilmente que \( a \) tiene inverso módulo n \( \Leftrightarrow \) \( \mbox{mcd}(a,n) = 1 \)
De hecho la prueba del recíproco la podemos hacer usando el algoritmo de Euclides extendido:
Si \( \mbox{mcd}(a,n) = 1 \) entonces por AEE podemos hallar \( x,y \in \mathbb{Z} \;/\; xa + yn = 1 \) (es el mcd como combinación lineal)
Ahora en esta última ecuación tomamos congruencia módulo n:
\( 1 = xa + yn \equiv xa (\mbox{mod}\ n) \) (pues yn es múltiplo de n, por lo tanto congruente con 0)
Obtuvimos \( xa \equiv 1 (\mbox{mod}\ n) \), es decir, \( x \) es un inverso modular de \( a \).
Otra forma de calcular el inverso multiplicativo es usando la función \( \varphi \) de Euler.
Sabemos que: \( \displaystyle a^{\varphi(n)} \equiv 1 (\mbox{mod}\ n) \)
Aplicando propiedad de los exponentes, lo podemos escribir como: \( \displaystyle a^{\varphi(n)-1}\cdot a \equiv 1 (\mbox{mod}\ n) \)
Por lo tanto \( \displaystyle a^{\varphi(n)-1} \) es un inverso modular de a.
Este último método puede no ser tan eficiente para un algoritmo como RSA (se trabajan con números muy grandes y para calcular la \( \varphi \) es necesario tener la descomposición en primos del número), sin embargo el algoritmo de Euclides es muy eficiente.
Saludos