Vamos por partes, Latex es una extension de un lenguaje que se llama Tex. Ahora Tex es un lenguaje creado por Donald Knuth, cuya version va por la 3.1415 (se ve a donde tiende no?). De esta version se crean los ejecutables para cualquier tipo de computadora.
Muchas personas contribuyen a estos proyectos a traves de aportes personales, formatos de libros, tesis, diagramas tecnicos. Todo este material se juntan y se distribuyen en lo que se denomina una distribucion, como MikTex que es una distribución pensada para windows, nTex o teTex que son distribuciones para Unix (en particular para linux).
Suelen ocupar bastante espacio en disco, te sugeriria que bajes la version "small" de MikTex, despues instalas lo que te haga falta. La version "full" en general trae un monton de cosas que uno jamas usa, por ejemplo versiones de los manuales diferentes idiomas.