¿Puede reclamar mi madre su dni que mi hermana tiene guardado?

El DNI siempre debe tenerlo en su poder el titular del mismo, es decir, el DNI de tu madre, lo debe tener tu madre. Desconozco si se encuentra judicialmente incapacitada (o con medidas de apoyo como se llama actualmente) y dispone de un tutor/curador que tenga facultades para actuar en su representación. De no ser así, en principio todas las gestiones deberían hacerse a petición expresa de tu madre.

Contestando directamente a la pregunta, sí, judicialmente sí podría tu madre solicitar la devolución del DNI, aunque normalmente siempre existen formas extrajudiciales de solventar este problema.