À partir de 1859, l'éventuelle destruction des murailles, qui se trouvaient alors dans un état déplorable, fut intensivement débattue entre le conseil municipal (partisan de la démolition), la Commission des Monuments, l'Académie des Beaux-Arts et la Société Économique d'Amis du Pays (Sociedad Económica de Amigos del País). Il fut décidé de détruire partiellement l'enceinte et de supprimer plusieurs portes. À la suite de la Révolution de 1868, un des premiers objectifs du nouveau gouvernement fut l'éradication des murailles. Mais malgré cette destruction extensive, quatre portes de ville (sur les 19 que la ville comptait à l'origine) furent sauvées de la démolition, ainsi que trois tronçons de murailles et sept tours, dont la Tour de l'Or7.

