Recargo por presunto impago en la cuota de autónomos por un recibo devuelto erroneamente

Al darme de alta en RETA hace dos meses domicilié las cuotas de la SS en mi cuenta bancaria. Pasados 2 meses aún no me cobraban nada ni me notificaban nada y yo esperando. Voy a la Administración de la TGSS para preguntar, y resulta que debo las dos cuotas impagadas con un recargo del 20% porque el banco devolvió los recibos (pero yo tenía fondos). Resulta que es porque la domiciliación había sido dada de alta y de baja DOS AÑOS ANTES (cuando también fui autónomo un tiempo) y al tener la misma referencia, el banco la devuelve por defecto. ¿De quién es la culpa? ¿Del banco o de la TGSS? (porque está claro que mía no es). ¿No tenía el banco que preguntarme antes de devolver? ¿No tenía la TGSS que avisarme inmediatamente y darme una oportunidad de pagar sin retrasos y sin recargos?