Joe Nichols tomó el camino indirecto hacia el éxito del country, consiguiendo su primer gran éxito seis años después de conseguir su primer contrato discográfico. Nacido en Rogers, Arkansas, Nichols creció viendo a su padre tocar el bajo en una banda local de country. Él mismo tocó en una banda de rock durante su adolescencia, pero pronto regresó al country, y después del instituto aceptó un trabajo nocturno como DJ mientras se mantenía como mecánico de día. Conoció al productor Randy Edwards en este último trabajo, y bajo la dirección de Edwards, actuó con regularidad y trabajó en la composición de sus canciones.
Consiguió un contrato discográfico con Intersound y lanzó su debut autotitulado en 1996, naturalmente con la producción de Edwards. El sencillo «Six of One, Half a Dozen (Of the Other)» fue un éxito menor, pero el álbum no se vendió especialmente bien. Logró que Nichols tuviera una oportunidad con Warner Bros., pero una serie de fusiones de sellos lo dejó fuera, y tuvo una serie de trabajos diarios en Nashville mientras buscaba un nuevo acuerdo. En el año 2000, se asoció con el guitarrista de sesión Brent Rowan para componer canciones, y dos años después firmó con Universal. Su debut discográfico, Man with a Memory, salió a la venta en 2002, y su single principal, la balada «The Impossible», llegó al número tres de las listas de country, y también entró en el Top 30 de pop. A raíz de su éxito, su primer álbum se reeditó con el título Six of One, Half Dozen of the Other.
Otro sencillo de Man with a Memory, «Brokenheartsville», se convirtió en su primer número uno en las listas de country a principios de 2003, y contribuyó a que el álbum entrara en el Top Ten de country. De repente, los elogios fueron rápidos y furiosos. La Academia de Música Country nombró a Nichols su mejor nuevo vocalista masculino, obtuvo tres nominaciones a los Grammy y Billboard declaró que «The Impossible» era la décima canción más escuchada en 2003. Nichols y su banda estuvieron de gira con Alan Jackson hasta agosto de ese año, y el single «She Only Smokes When She Drinks» tuvo un éxito similar en la radio country. En septiembre, los rumores en torno a Nichols continuaron con una nominación al premio Horizonte para nuevos artistas de la Asociación de Música Country.
Su segundo disco para Universal South, Revelation, y un álbum navideño, Traditional Christmas, salieron a la venta en 2004, seguidos por el éxito del Top Ten III en 2005. Su siguiente disco, Real Things, llegó a las estanterías en 2007 y se centró principalmente en tiernas baladas country con un puñado de canciones a ritmo acelerado. Old Things New le siguió dos años después, en 2009. Old Things New fue otro sólido éxito para Nichols gracias a los singles «Believers» y «Gimmie That Girl», y Nichols lo siguió en 2011 con It’s All Good. It’s All Good tuvo un rendimiento respetable -debutó en el puesto 19 de las listas de country de Billboard- pero no generó un gran éxito. Tras su lanzamiento, Nichols se separó de Universal y firmó con Red Bow en octubre de 2012. Un año después, regresó con el soleado y pop Crickets.
Crickets generó dos grandes éxitos country – «Sunny and 75» y «Yeah»- que mantuvieron el álbum en las listas hasta 2014. En 2015, Nichols lanzó «Freaks Like Me», el single que pretendía ser el primer sabor de boca de su octavo álbum en solitario, pero no generó mucha atención, como tampoco lo hizo su continuación en 2016, «Undone». Tras estos dos singles, Nichols rehízo el octavo álbum, que se publicó como Never Gets Old en julio de 2017.