De bouw begon in 1955, gefinancierd door een openbare verkoop van aandelen in het project, bedacht door A.W. Thacker en Jack Toole “om de bloeiende citrusindustrie onder de aandacht te brengen”, schreef Orlando Weekly in 2005. Het project verbruikte uiteindelijk 5 miljoen pond (2.300 ton) beton en 149.000 pond (68 ton) betonstaal.
De toren opende op 14 juli 1956, met vertegenwoordigers van Silver Springs en Cypress Gardens in aanwezigheid. Gedurende de eerste jaren trok de toren tot 500.000 bezoekers per jaar, dankzij de ligging aan US 27 tussen Cypress Gardens en Silver Springs. In 1964 werd de Florida’s Turnpike echter naar het noorden verlengd, waardoor een snellere route naar het zuiden door Centraal-Florida mogelijk werd. Sindsdien is de toren verschillende keren verkocht. In de jaren 1980 hebben drie strenge vorstperioden (1983, 1985 en 1989) de meeste citrusboomgaarden in Lake County de das omgedaan; dit veroorzaakte een daling van het bezoek aan de toren. In 1988 werd een tram gebouwd om bezoekers rondleidingen te bieden langs verschillende citrusgewassen. De toren werd in 1995 gekocht door Greg Homan, die hem wit en turkoois liet schilderen.
In april 2015 werd de Citrus Tower opnieuw geschilderd in zijn oorspronkelijke kleurenschema, met oranje en witte strepen.