¿Qué puedo hacer ante este maltrato?

Hace dos años que me separé, tuve que irme de mi casa porque era insoportable vivir allí con el controlando mi vida, insultos continuados etc. Llegamos a un acuerdo en mediación familiar el pagaba la hipoteca y viviría en nuestra casa, los niños los compartimos por semanas pero me encuentro con amenazas cada vez que le viene la gana, cambia las semanas de los niños, si no accedo no me permite comer el día entre semana que habíamos estipulado ni aún pidiéndolo. No se cómo hacerle entrar en razón para que todo esto vuelva un poco a la normalidad. Esto ha venido sucediendo los dos años. Sé que el convenio es un acuerdo que no tiene legalidad porque no es sentencia y no sé qué hacer sin tomar la medida de denunciar todo esto. Muchas gracias.