Joe Nichols nahm einen Umweg zum Country-Erfolg und landete seinen ersten großen Hit sechs Jahre nach seinem ersten Plattenvertrag. Der aus Rogers, Arkansas, stammende Nichols wuchs damit auf, dass sein Vater in einer lokalen Country-Band Bass spielte. Er selbst spielte als Teenager in einer Rockband, kehrte aber bald zum Country zurück und nahm nach der High School einen Nachtjob als DJ an, während er tagsüber als Mechaniker arbeitete. Bei letzterem Job lernte er den Produzenten Randy Edwards kennen, und unter Edwards‘ Anleitung trat er regelmäßig auf und arbeitete an seinem Songwriting.
Er bekam einen Plattenvertrag bei Intersound und veröffentlichte 1996 sein selbstbetiteltes Debütalbum, natürlich mit Edwards als Produzent. Die Single „Six of One, Half a Dozen (Of the Other)“ war ein kleiner Hit, aber das Album verkaufte sich nicht besonders gut. Es verschaffte Nichols zwar eine Chance bei Warner Bros., aber eine Reihe von Label-Fusionen ließ ihn im Regen stehen, und er arbeitete eine Reihe von Tagesjobs in Nashville, während er nach einem neuen Vertrag suchte. Im Jahr 2000 schloss er eine Songwriting-Partnerschaft mit dem Session-Gitarristen Brent Rowan, und zwei Jahre später unterschrieb er bei Universal. Sein Debütalbum Man with a Memory wurde 2002 veröffentlicht, und die erste Singleauskopplung, die Ballade The Impossible“, erreichte Platz drei der Country-Charts und schaffte es auch in die Top 30 der Popmusik. Im Zuge des Erfolgs wurde sein erstes Album unter dem Titel Six of One, Half Dozen of the Other neu aufgelegt.
Eine weitere Single aus Man with a Memory, „Brokenheartsville“, wurde Anfang 2003 sein erster Nummer-eins-Country-Hit und trug dazu bei, dass das Album in die Country-Top-Ten kam. Die Anerkennungen überschlugen sich plötzlich. Die Academy of Country Music kürte Nichols zum Top New Male Vocalist, er erhielt drei Grammy-Nominierungen, und Billboard erklärte „The Impossible“ zum zehntmeistgespielten Song des Jahres 2003. Nichols und seine Band gingen im August desselben Jahres mit Alan Jackson auf Tournee, und die Single „She Only Smokes When She Drinks“ feierte einen ähnlichen Erfolg im Country-Radio. Im September wurde Nichols von der Country Music Association für den Horizon New Artist Award nominiert und sorgte damit für Aufsehen.
Seine zweite Platte für Universal South, Revelation, und ein Weihnachtsalbum, Traditional Christmas, wurden 2004 veröffentlicht, gefolgt von dem Top Ten-Hit III im Jahr 2005. Sein nächstes Album, Real Things, kam 2007 auf den Markt und konzentrierte sich hauptsächlich auf zarte Country-Balladen mit einigen Uptempo-Jams. Zwei Jahre später, 2009, folgte Old Things New. Old Things New war dank der Singles „Believers“ und „Gimmie That Girl“ ein weiterer solider Hit für Nichols, dem 2011 It’s All Good folgte. It’s All Good entwickelte sich respektabel – es debütierte auf Platz 19 der Billboard Country Charts – aber es brachte keine große Hitsingle hervor. Nach der Veröffentlichung trennte sich Nichols von Universal und unterschrieb im Oktober 2012 bei Red Bow. Ein Jahr später kehrte er mit dem sonnigen, poporientierten Crickets zurück.
Crickets brachte zwei große Country-Hits hervor – „Sunny and 75“ und „Yeah“ -, die das Album bis 2014 in den Charts hielten. 2015 veröffentlichte Nichols „Freaks Like Me“, die Single, die der erste Vorgeschmack auf sein achtes Soloalbum sein sollte, aber sie erregte nicht viel Aufmerksamkeit, ebenso wenig wie der 2016er Nachfolger „Undone“. Nach diesen beiden Singles überarbeitete Nichols das achte Album, das im Juli 2017 als „Never Gets Old“ veröffentlicht wurde.