Los Jardines tienen su origen entre los años 1630 y 1640, cuando el Conde-Duque de Olivares (Don Gaspar de Guzmán y Pimentel), valido de Felipe IV (1621–1665), le regaló al rey unos terrenos que le habían sido cedidos por el Duque de Fernán Núñez para el recreo de la Corte en torno al Monasterio de los Jerónimos de Madrid.