La sobriedad de sus muros se empaña hoy del luto por el fallecimiento de Cayetana, que en 2006 inauguró las obras de restauración
El Castillo de los Duques de Alba luce ya en lo más alto el estandarte de la Casa de Alba acompañado por un crespón negro para manifestar el luto por la muerte de Dª. María del Rosario Cayetana Victoria Alfonsa Fitz-James Stuart y de Silva, Duquesa de Alba. El castillo es Bien de Interés Cultural desde el 22 de Abril de 1949; publicándose en el BOE del 5 de Mayo del mismo año.
Una torre fortaleza que se convertiria en palacio
Es a mediados del XVI cuando el Castillo toma aires palaciegos, convirtiéndose en uno de los más importantes y suntuosos de España. Sus salas fueron escenario de la primera representación de una de las obras de Juan de la Encina. Sus muros alojaron ilustres huéspedes como Lope de Vega, Calderón de la Barca, Garcilaso de la Vega o Fernando el Católico. Pero todo este esplendor se viene abajo cuando sufre los avatares de la Guerra de la Independencia. En 1809 las tropas napoleónicas toman el Castillo hasta su retirada en 1812 que lo destruyen.
En ese momento interviene Julián Sánchez el Charro que, temiendo un nuevo ataque de los franceses, como estrategia de defensa para evitar un posible atrincheramiento, incendia el Castillo quedando en desuso e iniciándose un lento proceso de ruina.
En 1960, por iniciativa de D. Luis Martínez de Irujo XVIII Duque consorte de Alba, comienza la restauración de la Torre y las pinturas de la sala de la Armería, principalmente las de la Bóveda
En 1991, el Castillo, propiedad de la Fundación Casa de Alba, pasa por cesión de uso al Ayuntamiento de la localidad. A partir de ese momento, se inician una serie de trabajos arqueológicos con los que se han sacado a la luz todo el perímetro defensivo de las torres y dependencias del Castillo e importantes restos
La huella del Castillo en la Villa Ducal y sus gentes es incuestionable. No sólo porque se utilizaran piedras y restos de lo que en su día fue uno de los Palacios Renacentistas más bellos de España en construcciones posteriores, sino porque la silueta del Torreón de la Armería junto al puente sobre el Tormes es uno de los símbolos más conocidos de Alba. En palabras del escritor albense José Sánchez Rojas: "Alba de Tormes es un castillo, solamente un castillo. Alba sin su castillo sería un pueblo sin leyenda."