Bien de Interés Cultural, se encuentra ubicado en la margen izquierda del río Tormes y tiene un carácter defensivo y de control estratégico del paso del puente sobre el río
"Pocas imágenes existen en Salamanca tan bellas como la de Puente del Congosto con el impetuoso río Tormes, el puente medieval y el castillo". Una invitación que no conviene declinar si uno quiere descubrir uno de los rincones más singulares de la provincia. Así definen este entorno Salamanca Emoción, el portal de Turismo de la Diputación de Salamanca.
Y es precisamente en el castillo en el que nos vamos a detener. Bien de Interés Cultural, se encuentra ubicado en la margen izquierda del río Tormes y tiene un carácter defensivo y de control estratégico del paso del puente sobre el río. La historia de su construcción comienza en 1393, con el caballero Gil González Dávila señor de estas tierras y sus descendientes. Más tarde, fue transferido a la orden de Calatrava, y parece ser que la reina Isabel I pernoctó en dicho castillo y también Carlos V se alojó en él, de camino a Yuste. En 1539, tras la guerra de las Comunidades pasó a manos del Ducado de Alba hasta 1881, cuando, una vez extinguido el cobro del portazgo, fue vendido. Actualmente es de propiedad privada.
Su planta, tiene forma de hexágono irregular con un cubo en un extremo de la cerca y un gran patio de armas que da el acceso al recinto interior. Un grueso muro separa el patio de armas del resto de la fortificación, formada básicamente por una gran torre de planta rectangular distribuida en cuatro plantas a la que se adosa otro cuerpo de tres plantas y azotea, construido años más tarde que aquél. El acceso a la planta baja del alcázar se efectúa desde otro patio enlanchado, bajo el que se ubica un magnífico aljibe. En la actualidad el castillo es de propiedad particular y ha sufrido importantes transformaciones para adecuar su uso a la celebración de eventos.
Por su parte, el puente sobre el río Tormes resulta especialmente interesante por ser el paso de una cañada real y por conservar restos de fortificación en el lado del castillo y sobre uno de los arcos del oeste, donde se conservan restos en ruina de una torre que posiblemente cerraba el paso del puente por la noche, con objetivos fiscales y de defensa. Posiblemente el puente tuvo dos torres gemelas como era costumbre en la época y como se incluye en el escudo de la villa.