El viejo palacio fue derribado en 1958, pero curiosamente los restos de los que fueron sus escudos han aparecido en la Lista Roja de Patrimonio
Los restos de cuatro de sus escudos son el motivo de que el antiguo -y desconocido para muchos- palacio del duque de la Roca aparezca en la Lista Roja de Hispania Nostra -hasta ahora conocida como Lista Roja de Patrimonio-.
El edificio original se había levantado siglos atrás (entre finales del siglo XV y principios del XVI), pero fue a principios del siglo XIX cuando el marquesado y la propiedad del palacio recayeron en la persona del duque de la Roca, por lo que el edificio pasó a llamarse desde entonces, Palacio del duque de la Roca.
Según recoge la Lista Roja de Patrimonio, "ante la ausencia de sus dueños, el edificio fue puesto en renta con la intención de contribuir a su mantenimiento. Entre otros inquilinos acogió, desde 1863, la sede de la Escuela de Bellas Artes de San Eloy, que lo abandonó en 1907. En 1920 la Cooperativa Cívico Militar compró el edificio al duque de la Roca, y finalmente, tras años de uso, el viejo palacio o lo que de él quedaba, fue derribado en 1958, apareciendo cuatro escudos en el suelo del Campo de Tiro y Deportes de Salamanca, donde siguen actualmente. Solo son visibles tres, si bien están cubiertos de musgo y vegetación.