¿Qué hacer si soy hombre y otro hombre me acosa?

Buenas, soy un hombre casado y con familia, mi problema es que un antiguo conocido, que vive en la misma calle que yo, desde hace más de un año me insulta por la calle , me veja y me amenaza. También me ha rallado el coche por todas partes. No sé qué es lo que le pasa, pero me tiene amargado y asustado. Quiero hacer algo, pero al mismo tiempo tengo miedo de denunciarlo porque no tengo ninguna prueba más que mi deterioro moral. Además, me da miedo que al denunciar, haga algún daño a mi familia.
¿Qué debo hacer? muchas gracias.