En esta calle la Reina Doña Violante, mujer de Alfonso X, ordenó construir un monasterio y un palacio en el que llegó a vivir María de Molina.

Inicialmente se denominó a esta calle como Calle de los Olleros porque en ella se encontraban los talleres y los hornos de los fabricantes de ollas. Después pasó a llamarse Calle de Alfareros y después Calle de Alcalleres.

En 1856 se pasa a llamar Calle Duque de la Victoria como agradecimiento al general Espartero por los logros obtenidos para la ciudad con el movimiento liberal.

En la segunda mitad del siglo XIX se construyó el Palacio de Ortiz Vega donde estaba anteriormente el Monasterio de San Francisco. Mientras se construía el nuevo Ayuntamiento, se instalaron aquí los empleados de la casa consistorial. Posteriormente el edificio lo compró el Banco Castellano, que compartió las oficinas con el Gobierno Civil, pero tras un fuerte incendio y su posterior reconstrucción, el palacio quedó en uso exclusivo del Banco Castellano, hasta la actualidad en la que es la sede del BBVA.