Rakentaminen aloitettiin vuonna 1955, ja se rahoitettiin A.W. Thackerin ja Jack Toolen ”kukoistavan sitrusteollisuuden esittelyä varten” suunnitteleman hankkeen osakkeiden julkisella myynnillä, kirjoitti Orlando Weekly vuonna 2005. Hankkeeseen kului lopulta 5 miljoonaa puntaa (2 300 t) betonia ja 149 000 puntaa (68 t) betoniterästä.
Torni avattiin 14. heinäkuuta 1956 Silver Springsin ja Cypress Gardensin edustajien läsnäollessa. Ensimmäisten toimintavuosien aikana torni keräsi jopa 500 000 kävijää vuodessa, kiitos sen sijainnin US 27:n varrella Cypress Gardensin ja Silver Springsin välissä. Vuonna 1964 Floridan Turnpike-tietä jatkettiin kuitenkin pohjoiseen, mikä mahdollisti nopeamman reitin etelään Keski-Floridan läpi. Sen jälkeen torni on myyty useita kertoja. 1980-luvulla kolme kovaa pakkasta (1983, 1985 ja 1989) tappoi suurimman osan Lake Countyn sitrusviljelmistä, mikä vähensi tornin kävijämääriä. Vuonna 1988 rakennettiin raitiovaunu, joka tarjosi vierailijoille kierroksia eri sitrushedelmäviljelmillä. Greg Homan osti tornin vuonna 1995 ja maalautti sen valkoiseksi ja turkoosiksi.
Huhtikuussa 2015 Citrus Tower maalattiin uudelleen alkuperäiseen värimaailmaan, jossa oli oransseja ja valkoisia raitoja.