¿Cómo conseguir la custodia de mi hija?

Soy un hombre. Hace 6 años tuve un hijo con una mujer. A los 2 años de nacer nos separamos. No nos casamos ni tenemos ninguna propiedad juntos, solo el niño en común.
Tras la ruptura, arreglamos el convenio. Ella tiene la custodia y mi régimen de visita es los miércoles y los fines de semana alternos. Mensualmente le paso la pensión sin haber faltado ni una sola vez.
Ya han pasado 4 años y yo estoy "quemado".

Esa mujer me hace la vida imposible. Me dice constantemente que yo solo soy padre de fin de semana y que sólo sirvo para pagarle. Me hace saber de que su pareja es más padre que yo, sólo por el simple hecho de verla todos los días. Ellos no tienen un domicilio fijo. Actualmente están viviendo en un barrio marginado del pueblo. Mi hija va sola al colegio, no la acompañan. Cada vez que tiene que volver con la madre me llora, pues no quiere.
La pareja de su madre es conocido por violento, ha tenido ya varias peleas a plena luz del día. Se han pegado mutuamente, con mi hija delante. La madre de mi hija me ha denunciado varias veces por supuestos malos tratos.

¿Hay derecho a eso?

Tengo un abogado de oficio y lo que estoy es esperando la cita para el juicio para quitarle la custodia, pues creo, sé y pienso que puedo darle mejor educación e higiene.

El problema es que llevo ya 2 años esperando esa cita que no viene. He acudido a los servicios sociales (los cuales no me han dado solución), a la policía, a amigos con el mismo caso. He buscado información por internet.

Ya no sé qué hacer.

Necesito ayuda.