El edificio que en la actualidad alberga el Museo se construyó en un principio como convento para la Orden de la Merced Calzada de la Asunción, fundada por San Pedro Nolasco en época de Fernando III.
Este rey, tras la reconquista de la ciudad, cedió unas tierras con la finalidad de levantar el edificio conventual, que por la época de su construcción era de estilo mudéjar.
Tras unas remodelaciones promovidas en el siglo XVII por Fray Alonso de Monroy (General de la Orden desde 1602) y ejecutadas por el arquitecto y escultor Juan de Oviedo y de la Bandera a partir de 1603, se comienza el edificio que actualmente contemplamos, después de derribar el antiguo Convento que ocupaba el solar, terminándose la obra principal en 1612.
La Orden que ocupaba el edificio fue expulsada en 1835, tras la desamortización de Mendizábal.
En 1839 pasó a ser museo.
Desde esa fecha ha sido modificado estructuralmente en tres ocasiones: la segunda de ella nos interesa por la foto que traemos hoy.
Entre 1942 y 1945 se actuó sobre la antigua sacristía, que pasó a convertirse en el patio de las Conchas, un patio con su alberca y vegetación típicamente andaluza.
El nombre al patio lo da los disteles en forma de concha marina que están sobre las puertas de acceso al patio.