tengo un niño de 5 años.. la custodia es mia la patria potestad de los dos.

Sobre la cuestión que planteas entiendo que en primer lugar lo que deberías plantearle al padre, el quedarte con el niño tu los domingos que él tenga que estar fuera y compensarlo con otro rato entre semana.
Si el régimen de visitas lo tenéis acordado judicialmente, éste solo puede cambiarse de mutuo acuerdo de los padres o bien a partir de un nuevo procedimiento judicial de modificación de medidas.
Si el padre no atende tu petición, deberías iniciar un procedimiento de modificación de medidas pero con la finalidad de restringir al padre las visitas los domingos (eso no evitará que otro día que tenga visitas pueda volver a dejarlo con la pareja). Deberás valorar también si recibe alguna remuneración por tocar en el grupo y la habitualidad con la que lo hace (todos los domingos?).

BARCELONA - EJP ABOGADOS
Abogado de Barcelona especializado en Derecho Civil
Aquí la cuestión sería instar una modificación del régimen de estancias con el padre, o incluso restringirlas al máximo, acreditando la situación que Ud. describe.