Este edificio se levantó a las afueras de la ciudad. Su fábrica se comenzó en 1504, y en 1517 se debió entregar a los Mínimos de San Francisco, frailes que gozaron de grandes privilegios desde la fundación de la orden.
No se sabe con la exactitud la fecha de instalación de estos monjes en nuestra ciudad -la primera de las órdenes religiosas masculinas que se instaló en ella-, pero sí que los Mínimos, en su expansión por Andalucía (Real Convento de la Victoria de Málaga, fundado por los Reyes Católicos, de Andújar, …) se hallaban en El Puerto en 1502. En 1506 ya estaban instalados bajo el mando de Fray Marcial de Vizines, electo provincial que sería quien en 1517 recibió la donación del edificio que el Duque D. Juan de la Cerda hizo a la comunidad. Según Hipólito Sancho el santuario tuvo en un principio un origen distinto al que luego se le dio, que era el de panteón de los Duques de Medinaceli, entonces señores de la ciudad, por lo que se financió en un primer momento con el patrocinio ducal y más tarde con aportaciones municipales.
Las aportaciones del Duque D. Juan y los recursos de la comunidad permitieron hacer, a lo largo de los años, un edificio suntuoso sin la mezcla chocante de varios estilos, como era tan común en los edificios de la época, resultando un interesante ejemplo de gótico tardío por estas tierras, al que no le faltan algunos elementos renacentistas. El Monasterio consta fundamentalmente de tres elementos: iglesia, claustro y salas capitulares.
