Mi ex no deja de entrar en mi casa

Estoy divorciada desde hace dos años,tengo dos hijos en común con mi exmarido,el ha vivido fuera durante estos dos años.la vivienda está a nombre de los dos pero la pago yo sola desde el divorcio,,así como todos los gastos que conlleva.ahora ha vuelto porque se ha enterado que mi actual pareja entra en mi casa,,y me reclama que allí no entré a nadie porque es suya también.y el viene cuando le da la gana,no tengo intimidad,me siento asustada y acosada,entra con cualquier excusa.en mi casa que pago yo con mucho trabajo..no me deja vender la vivienda solo alquilarla que es lo voy hacer para poder vivir tranquila.que derechos tengo,para impedirle que entre en mi casa? Puede exigirme que mi pareja no esté en la vivienda?estoy desesperada,porque no veo justo que no me deje hacer mi vida.si el respondiera a su parte de los gastos yo no entraría a nadie allí.pero no puedo pagar una hipoteca y un alquiler yo sola. Gracias un saludo.