Por recomendar un libro concreto,
A first course in calculus de Serge Lang parece que podría funcionarte bien. Éste empieza por lo básico, es decir, qué tipos de números hay, cómo operar con fracciones, etc., va presentando con rigor los temas típicos de un curso de primero de carrera, aunque sin llegar al nivel de profundidad de textos como el Spivak o el Apostol pero tampoco tratándote de tonto como los libros tipo Stewart, y termina con una introducción al cálculo de varias variables.
Aquí tienes una copia:
https://cloudflare-ipfs.com/ipfs/bafykbzaceccygsgcyz25esrgoo23spfchimw5bb3f573mp6jqq74v4h2ckv7g?filename=%28Undergraduate%20Texts%20in%20Mathematics%29%20Serge%20Lang%20-%20A%20First%20Course%20in%20Calculus%2C%205e-Springer%20%281986%29.pdfEstoy de acuerdo con Sugata en que el álgebra (¿lineal?) también es "obligatoria" para todo aspirante a matemático (o incluso aficionado) que se precie, pero si vas limitado de tiempo, en mi opinión personal pienso que empezar con cálculo puede ser más motivante y más "humano" (ya que parece que te interesa esta parte), pues a priori parece más natural empezar estudiando cosas que los seres humanos desde la antigüedad han intentado comprender, cosas como qué significa que una función tiende a un límite (quizá no con estos términos tan modernos, pero probablemente sí con ideas más primitivas que pretendían responder a las mismas preguntas), cómo se llega a calcular el área bajo su curva, todo el tema de las sucesiones y las series... que meterse con conceptos más abstractos como los espacios vectoriales, diagonalización de matrices y demás, que están muy bien y son súper útiles (y hoy en día todavía más, por ejemplo en programación de videojuegos o en machine learning), pero para introducirse a las matemáticas igual son demasiado pesados y no motivan igual que si ya empiezas a estudiarlos con un cierto
background detrás que te permita dar más contexto a los nuevos conceptos que aprendes.
Pero la mía es la opinión de un autodidacta que no es matemático profesional.
Añado: Si el libro que te he recomendado te parece demasiado fuerte, puedes probar con el
Basic Mathematics, también de Serge Lang:
https://cloudflare-ipfs.com/ipfs/bafykbzacecuq42kz5jhkxzer6lka2vott3v35qxixu7lcja7d2juayqhlhoxk?filename=Serge%20Lang%20-%20Basic%20Mathematics-Addison-Wesley%20%281971%29.pdfAquí tienes un surtido más variado de temas: hay un poco de álgebra básica, de álgebra lineal, de geometría, algo de cálculo, números complejos... y hasta hay una pequeña parte de lógica en la que te enseña a demostrar teoremas, algo imprescindible de cara a estudiar futuros libros de matemáticas.