Mi padre no hace nada más que gritar e insultar

Mi padre lleva sin encargarse de nosotros desde hace 5 o 6 años yo ya tengo 20 años pero él siempre intenta forzarme a ser como el quiera y como yo soy como soy se dedica a gritarme, insultarme o meterse conmigo, y seguramente si fuera menor no se lo pensaría para golpearme y me da miedo que ahora que no quiero saber nada de el lo pague con mi hermana cuando el esté frustrado, no se si puedo hacer algo o tendré que esperar hasta que pase lo peor.
Por cierto hace unos 4 años que no quería saber nada de nosotros porque su mujer no quería vernos cuando tiene la custodia compartida.