La construcción comenzó en 1955, financiada por una venta pública de acciones del proyecto, concebido por A.W. Thacker y Jack Toole «para mostrar la próspera industria de los cítricos», escribió Orlando Weekly en 2005. El proyecto acabó consumiendo 2.300 toneladas de hormigón y 68 toneladas de acero de refuerzo.
La torre se inauguró el 14 de julio de 1956, con la presencia de representantes de Silver Springs y Cypress Gardens. Durante los primeros años de funcionamiento, la torre atrajo hasta 500.000 visitantes al año, gracias a su ubicación en la US 27 entre Cypress Gardens y Silver Springs. Sin embargo, en 1964 la autopista Florida’s Turnpike se amplió hacia el norte, proporcionando una ruta más rápida hacia el sur a través de Florida Central. Desde entonces, la torre se ha vendido varias veces. En la década de 1980, tres fuertes heladas (1983, 1985 y 1989) acabaron con la mayoría de las plantaciones de cítricos del condado de Lake, lo que provocó un descenso de las visitas a la torre. En 1988, se construyó un tranvía para ofrecer a los visitantes recorridos por varios cultivos de cítricos. La torre fue adquirida en 1995 por Greg Homan, quien la hizo pintar de blanco y turquesa.
En abril de 2015, la Torre de los Cítricos fue repintada con su esquema de colores original, con rayas naranjas y blancas.