Quise hablar con mi vecino sobre sus hijos y su esposa me agredió verbalmente

Mi Hija de 6 años me dijo llorando que sus amigos no podían jugar con ella, entonces subí a hablar con mi vecino y él parecía no escuchar y solo justificar a su hijo, luego sin motivo alguno me levanto la voz y cuando le dije que no lo hiciera su esposa salio comenzó a insultarme y amenazarme con golpearme. Diciendo que yo había amenazado a su hijo, como el nene estaba ahí o desmintió pero ella siguió gritándome. Mi esposo me dice que ellos pueden hacer una denuncia, obviamente falsa, pero no quiero tener problemas. ¿Cómo debo actuar?