Hola
La Criptografía, para bien o para mal, no es demasiado estudiada en una licenciatura de matemáticas. Cuando hice la carrera creo que ni aparecía como optativa. En fin, digo esto para justificar un poco que este tema se nos escape a muchos.
En cualquier caso estuve echando un vistazo a lo que escribiste. No tengo claro al 100% como compaginas exactamente tu sistema de cifrado con el de Viegenere. Supon que tienes un clave de longitud 3, K1,K2,K3. Entonces para un mensaje L1,L2,L3,L4,L5,L6,L7,L8,L9... el cifrado sería:
L1+K1,L2+K2,L3+K3,L4+K1,L5+K2,L6+K3,L7+K1,...
Ahora bien si añadimos tu modifiación, ¿quedaría así?:
L1+K1,L2+L1+K2,L1+L2+L3+K3,L1+L2+L3+L4+K1,L1+L2+L3+L4+L5+K2,...
Si fuese así (no estoy seguro si es a lo que te refieres), restando en el mensaje cifrado a cada elemento el anterior obtenemos:
L1+K1,L2+(K2-K1),L3+(K3-K2),L4+(K1-K3),L5+(K2-K1),...
es decir, tras esta transformación y descartado el primer elemento esencialmente el cifrado vuelve a ser el anterior de Viegenere sin tu modificación (para la clave K2-K1,K3-K2,K1-K3). Por ello podría ser "atacado" exactamente con las mismas técnicas. ¿No?.
En fin, perdona si la notación no es la usual, pero como te decía al principio no conozco demasiado sobre este tema.
Saludos.