Kdysi tady, na místě kaple La Ermita de San Antonio na předměstí Madridu, stála její předchůdkyně postavená Josém de Churriguera v roce 1720, ale ta musela ustoupit v roce 1768 výstavbě silnice do Kastilie. Už o dva roky později ale koupil král Carlos IV. palác markýze Castela Rodriga jménem Palacio de la Florida (odtud pochází jméno současné kaple), aby zde architekt Felipe Montana vybudoval v letech 1792 až 1798 rekreační budovy. Z nich pozdější bouřlivé budování, zejména Severního náměstí (Principe Pio), přežila jen poustevna svatého Antonína.

Za svou popularitu vděčí tato nenápadná neoklasicistní stavba nástropním malbám, na nichž téměř půl roku, od srpna do prosince, pracoval v roce 1798 jeden z nejvýznamnějších španělských i světových malířů Francisco Goya a jeho asistent Asensio Juliá. Na stropě hlavní kupole zobrazil zázrak svatého Antonína Paduánského, který ve 13. století oživil v Lisabonu mrtvého muže. V roce 1919 byly do kaple převezeny z Bordeaux Goyovy ostatky.

Prvního dubna 1905 byla budova prohlášena národní kulturní památkou a až do roku 1929 se v ní konaly pravidelné bohoslužby. Tehdy se však vzhledem k velkému náporu a nebezpečí poškození původní výzdoby církevní i světské akce přesunuly do za tím účelem vybudovaného dvojčete, které vypadá nachlup stejně.

Každoročně 13. června je Real Ermita de San Antonio de la Florida cílem pouti, během níž se sem přicházejí neprovdané ženy modlit ke svatému Antonínovi a žádat ho o partnera.