Orden alejamiento uso bien comun

Tengo una orden de alejamiento de 16 meses a una distancia de 300 metros de mi expareja por una agresión física, la vivienda habitual es de mi propiedad, pero tenemos una segunda vivienda que es propiedad común, agresor y victima. Las llaves de la vivienda las tengo yo en este momento pero la familia del agresor me las esta pidiendo.
En mi orden de alejamiento indica de forma expresa que el agresor no podrá acercarse ni a mi vivienda habitual, ni a los lugares que yo frecuento a la distancia estipulada.
¿Tengo el deber de entregarle las llaves, con el riego que supondría para mi el poder encontrarnos allí? De tener las llaves yo no podré acudir a la vivienda de mi propiedad y con ello perder mi derecho a disfrutar de mi vivienda, o al estar la orden de alejamiento impuesta para el me puedo reservar el derecho a entregarle las llaves por mi seguridad.