Puedo quitarle la custodia a mi ex por no llevar a la niña al medico?

Perdona que os moleste, pero es que resulta que el viernes llamaron a mi ex del cole que valeria estaba mala, el no podía ir pq estaba en el inss, la recogió el abuelo (padre de Jony) no la llevaron al medico ni nada, ni siquiera me aviso de que le habían llamado del cole, y encima ayer tampoco va al cole y no me avisa que seguía mala, la llevo hoy al medico pq el iba a llevarla al cole y le di dije que ni hablar que la llevaba hoy al medico, y resulta que tiene gripe A y me responde que el ya se lo imaginaba, pero sin embargo no fue capaz de llevarla y durante todo el fin de semana me ha estado mandando un solo mensaje, niña bien, no es lloviendo (lo de la lluvia era por las alertas rojas que habia) pero no puede ser que esté mala un viernes, sábado y domingo no y el lunes otra vez mala... Que dbeo hacer? Además el está ahora mismo diciendo que siente como que él vive en otra realidad y que el psiquiatra Le ha diagnosticado trastorno adaptativo... No se que hacer pq no quiero que mi hija esté sin su padre pero tampoco quiero arriesgar su salud física o mental.