Mi ex quiere controlar todo lo que hago cuando me toca mi hijo

Tengo un niño de 12 años, no es custodia compartida porque trabajo de noche pero casi, he tenido que bloquear a su madre por acoso cuando me toca mi hijo de querer saber en cada momento donde vamos que hacemos a que horas etc hasta tal punto de castigarlo a el sino le avisa cuando volvemos de algun sitio un sabado por ejemplo, que llega dormido en el coche lo ha llegado a amenazar diciendole que si no le avisa de todo no le dejará mas ir con su padre, estoy desesperado el niño no disfruta cuando esta conmigo y lo veo mal, que puedo hacer?