Tendrías que calcular la matriz asociada a una rotación de eje una recta y ángulo que es simplemente calcular la matriz de un giro respecto a una recta, y luego componerlo con la matriz de una traslación de vector paralelo al eje de rotación. Simplemente es multiplicar dos matrices que deberías conocer ya.