La costruzione iniziò nel 1955, finanziata da una vendita pubblica di azioni del progetto, concepito da A.W. Thacker e Jack Toole “per mostrare la fiorente industria degli agrumi”, ha scritto Orlando Weekly nel 2005. Il progetto alla fine ha consumato 5 milioni di libbre (2.300 t) di cemento e 149.000 libbre (68 t) di acciaio per cemento armato.
La torre ha aperto il 14 luglio 1956, con i rappresentanti di Silver Springs e Cypress Gardens in presenza. Durante i primi anni di funzionamento, la torre ha attirato fino a 500.000 visitatori all’anno, grazie alla sua posizione sulla US 27 tra Cypress Gardens e Silver Springs. Tuttavia, nel 1964 la Florida’s Turnpike fu estesa a nord, fornendo un percorso più veloce verso sud attraverso la Florida centrale. Da allora, la torre è stata venduta diverse volte. Negli anni ’80, tre forti gelate (1983, 1985 e 1989) hanno ucciso la maggior parte degli agrumeti della Lake County; questo ha causato una diminuzione delle visite alla torre. Nel 1988, fu costruito un tram per offrire ai visitatori tour di varie coltivazioni di agrumi. La torre fu acquistata nel 1995 da Greg Homan, che la fece dipingere di bianco e turchese.
Nell’aprile 2015, la Citrus Tower fu ridipinta nella sua combinazione di colori originale, con strisce arancioni e bianche.