Custodia de hijos y problemas para cuidarlos

Hace dos años que me separé de mi ex mujer y desde abril de este año tengo la sentencia de divorcio, de mutuo acuerdo, pero condicionado por una empresa que teníamos a medias, pago la pensión alimenticia, mitad de hipoteca y préstamos contraídos por el negocio,mi problema es que teniendo que abonar tanto no tengo manera de subsistir, ella vive con su pareja y los niños, yo convivo con otra persona, la cual se hace cargo de casi todos los gastos, trabajo a turnos, no puedo hacerme cargo de los hijos, no puedo forzar a la persona que esta conmigo estar con los niños, me esta acarreando problemas psicológicos, de no querer ver a nadie, ni si quiera a los hijos, ¿puedo renunciar a llevármelos mientras mi situación sea esta?,¿que problemas me puede acarrear renunciar a ellos?, muchas gracias.