Hola,
Te doy la idea para la demostración.
Primero fíjate que de \( L_3 \) tienes \( (\neg p_1 \rightarrow \neg p_2) \rightarrow (p_1 \rightarrow p_2) \). Una vez tienes esto ya está porque en general, si has obtenido una fórmula \( A \), para obtener \( B \rightarrow A \) (sea cual sea B) simplemente usas \( L_1 \) para obtener \( A \rightarrow (B \rightarrow A) \) y ahora usas modus ponens para obtener \( B \rightarrow A \). Si sigues este esquema con \( A = (\neg p_1 \rightarrow \neg p_2) \rightarrow (p_1 \rightarrow p_2) \) y \( B = p_1 \rightarrow p_2 \), tendrás la demostración que buscas.
En general esto de dar demostraciones formales es un coñazo, y mucho más en un cálculo tipo Hilbert y tan "optimizado" (en el sentido de pocos axiomas, de hecho creo que es la presentación mínima que se puede dar de la lógica clásica proposicional con un cáclulo tipo Hilbert). Los cálculos deductivos con tan pocos axiomas son ideales para hacer demostraciones metalógicas, porque hay pocos axiomas para comprobar (por ejemplo, en una típica prueba de corrección del cálculo), pero horribles para hacer demostraciones lógicas porque por un lado son muy poco intuitivas y por otro lado, el hecho de que haya tan pocos axiomas hace que cualquier demostración formal sea muy larga.
En este tipo de cálculos, para demostrar cosas no queda otra que ir jugando con los axiomas a ver que podemos sacar por ahí. Es más ensayo y error que otra cosa. También va bien, si puedes (si te dejan usarlas), usar reglas derivadas como el teorema de la deducción o la reducción al absurdo.
El símbolo de "infiere", si te refieres a \( \vdash \) se obtiene con "\vdash".
Saludos