¿Qué puedo hacer con un vecino muy molesto?

Quisiera hacer unas preguntas, estamos mi mujer y yo viviendo en un piso de alquiler y tenemos al vecino de al lado que vive pared con pared con nosotros que nos esta haciendo la vida un infierno, ya casi cuatro años con sus respectivos portazos en plan animal cuando entra y sale de su casa.
Lo mismo cuando entra y sale del comedor de su casa como sabe que nos molesta lo esta haciendo muy seguido no trabaja esta persona y esta saliendo cada dos por tres dando portazos mete la llave en la cerradura como si estuviera dando latigazos se le dice algo y te insulta o se venga estuvimos veinte días la mar de tranquilos porque se fue de vacaciones vino de vacaciones y seguimos en las mismas con los portazos que incluso van a casi a peor nos le hicimos nada nunca ni nos metimos con el ni nada.
No entiendo porque esta persona que vive de alquiler nos esta haciendo la vida imposible incluso una vez le ayudamos.
¿Qué se podría hacer al respecto? Me da miedo que si hablo con alguien se vengue porque es una persona muy vengativo.
Nos podéis ayudar muchas gracias.