Der Bau begann 1955, finanziert durch den öffentlichen Verkauf von Aktien des Projekts, das von A.W. Thacker und Jack Toole konzipiert wurde, „um die blühende Zitrusindustrie zu präsentieren“, schrieb Orlando Weekly 2005. Für das Projekt wurden schließlich 5 Millionen Pfund (2.300 t) Beton und 149.000 Pfund (68 t) Bewehrungsstahl verbraucht.
Der Turm wurde am 14. Juli 1956 in Anwesenheit von Vertretern von Silver Springs und Cypress Gardens eröffnet. In den ersten Betriebsjahren zog der Turm dank seiner Lage an der US 27 zwischen Cypress Gardens und Silver Springs bis zu 500.000 Besucher pro Jahr an. Im Jahr 1964 wurde jedoch die Florida’s Turnpike nach Norden verlängert, um eine schnellere Route durch Zentralflorida nach Süden zu ermöglichen. Seitdem wurde der Turm mehrmals verkauft. In den 1980er Jahren ließen drei strenge Fröste (1983, 1985 und 1989) die meisten Zitrushaine in Lake County absterben, was zu einem Rückgang der Besucherzahlen auf dem Turm führte. Im Jahr 1988 wurde eine Straßenbahn gebaut, um den Besuchern Führungen durch die verschiedenen Zitrusfruchtkulturen anzubieten. Der Turm wurde 1995 von Greg Homan gekauft, der ihn weiß und türkis streichen ließ.
Im April 2015 wurde der Zitrusturm in seiner ursprünglichen Farbgebung mit orangefarbenen und weißen Streifen neu gestrichen.