La Baja Edad Media, con la ciudad ocupando largo tiempo una fluctuante zona fronteriza, supone un período de gran inestabilidad, al producirse sucesivas ocupaciones por parte de cristianos y musulmanes, las cuales provocan la emigración voluntaria o forzada de la mayor parte de la población original a otras tierras más defendidas por los Reyes cristianos. Esta ausencia traerá consigo el abandono de las tierras de cultivo, la ruina de los edificios construidos con débiles materiales y el descenso demográfico de la ciudad.
A finales del s. XI, conquistada Toledo, y a principios del s. XII, se realiza la reconstrucción y repoblación de la ciudad por Raimundo de Borgoña, bajo trazados que en muchos casos, van a tener caracteres especiales definitivos. En un primer momento se realiza un recinto amurallado, cuya forma era aproximadamente triangular, con un lado apoyado en los escarpes y fuertes pendientes de! río y con su vértice opuesto en las inmediaciones de la actual Clerecía. Inmediatamente este recinto se muestra insuficiente para albergar al aluvión de pobladores que acudieron atraídos por la concesión de solares, tierras y fueros con privilegios especiales y exenciones tributarias, por lo que, en 1147 se rea-liza una nueva cerca de mucho mayores dimensiones y capaz de dar cabida a todos los arrabales y parroquias existentes, que habían desbordado los límites de la primera muralla.
Este segundo recinto, del que apenas se conservan algunos lienzos amurallados en su lado Sur, es decir el más próximo al río, se desarrolló en una superficie próxima a las 120 Has. y su trazado, de forma casi circular, es hoy perfectamente reconocible en las Vías de Ronda de la ciudad: paseos del Rector Esperabé, Desengaño, San Vicente, Carmelitas, Avenidas de Alemania y Mirat y Paseo de Canalejas, suponiendo tal extensión, que permitió albergar las actividades y el crecimiento de la ciudad hasta bien entrado el siglo XIX en que las murallas fueron destruidas para favorecer la expansión urbana.